CBRS: Cognitive Blood Request System with Bilingual Dataset and Dual-Layer Filtering for Multi-Platform Social Streams

1. Il Problema

La ricerca affronta la sfida critica di individuare e rispondere alle richieste di donazione di sangue urgenti diffuse sui social media (come Facebook, Telegram e Discord). Nonostante il volume enorme di comunicazioni quotidiane, queste richieste spesso rimangono inosservate o sepolte tra messaggi non pertinenti.
Le principali difficoltà identificate sono:

• Volume e Rumore: La stragrande maggioranza dei messaggi non sono richieste di sangue, rendendo difficile l'estrazione manuale o automatica delle informazioni critiche.
• Asimmetria dei Costi: In questo contesto, un falso negativo (non rilevare una richiesta urgente) è molto più dannoso di un falso positivo (filtrare un messaggio non urgente), poiché il primo comporta la perdita di una vita potenziale.
• Diversità Linguistica e Strutturale: Le comunicazioni avvengono in lingue a bassa risorsa (come il bengalese), in inglese e in bengalese traslitterato (scritto in caratteri latini), spesso con slang, abbreviazioni e formati non strutturati.
• Limitazioni delle Soluzioni Esistenti: I sistemi basati su app tradizionali richiedono input manuali e non scalano bene. I modelli di NLP esistenti spesso mancano di dataset specifici per il bengalese e non gestiscono efficacemente l'asimmetria tra falsi positivi e negativi.

2. Metodologia

Il sistema proposto, CBRS (Cognitive Blood Request System), utilizza un'architettura innovativa composta da tre componenti principali:

A. Dataset Bilingue e Multiformato

Gli autori hanno curato un nuovo dataset di 11.000 messaggi estratti da gruppi pubblici su Telegram e Facebook.

• Composizione: Include messaggi in Bengalese, Inglese e Bengalese traslitterato.
• Arricchimento: Il dataset contiene "negativi difficili" (hard negatives), ovvero messaggi che sembrano richieste (es. ringraziamenti per donazioni passate o espressioni di disponibilità) ma non sono richieste attive, oltre a esempi adversarial generati per testare la robustezza del modello.

B. Architettura di Filtraggio a Doppio Strato (Dual-Layer Filtering - DLF)

Per bilanciare velocità, costo e accuratezza, CBRS impiega due livelli di filtraggio:

1. Livello 1 (Classificatore Leggero): Utilizza un modello basato su TF-IDF e Regressione Logistica con pesatura asimmetrica. Questo strato è ottimizzato per la velocità e la memoria, con l'obiettivo specifico di massimizzare il recall (rilevare quasi tutte le richieste vere), accettando un numero leggermente più alto di falsi positivi.
2. Livello 2 (Filtraggio e Parsing LLM): I messaggi filtrati dal primo livello vengono inviati a un Large Language Model (LLM) per una verifica secondaria e l'estrazione strutturata. Questo riduce drasticamente il numero di chiamate API costose all'LLM, ottimizzando i costi.

C. Parsing Strutturato con LoRA

Per estrarre informazioni chiave (gruppo sanguigno, quantità, luogo, ospedale, contatti) dai testi non strutturati, il sistema utilizza:

• Un modello Llama-3.2-3B fine-tunato con LoRA (Low-Rank Adaptation).
• Il modello è stato addestrato per convertire il testo libero in un formato JSON strutturato.
• Vengono utilizzati prompt few-shot per altri modelli di confronto, ma il modello LoRA fine-tunato opera in modalità zero-shot con prestazioni superiori.

3. Contributi Chiave

1. Dataset Pionieristico: Creazione del primo dataset bilingue/trilingue (Bengalese, Inglese, Translitterato) specifico per le richieste di donazione di sangue, arricchito con campioni adversarial.
2. Sistema CBRS: Implementazione di un'architettura a doppio strato che risolve il compromesso tra costi computazionali e accuratezza, gestendo efficacemente l'asimmetria delle classi.
3. Efficienza del Modello: Dimostrazione che un modello LLM leggero (3B parametri) fine-tunato con LoRA supera le prestazioni zero-shot di modelli molto più grandi (come GPT-4o-mini e Gemini-2.0) e riduce l'uso di token in ingresso di un fattore 35x.
4. Validazione Reale: Valutazione del sistema su 30 gruppi attivi (Telegram e Discord) in Bangladesh, con un'analisi demografica e di soddisfazione degli utenti.

4. Risultati Sperimentali

• Filtraggio (Livello 1): Il sistema DLF ha raggiunto un'accuratezza del 99% e una precisione del 99%, superando i metodi di riferimento (come SVM, Random Forest e BERT leggeri) con un tempo di inferenza significativamente inferiore.
• Parsing (Livello 2):
  • Il modello LoRA-finetuned Llama-3.2-3B ha raggiunto un'accuratezza dello 0-shot del 92%.
  • Questo risultato supera le prestazioni few-shot di modelli avanzati come GPT-4o-mini, Gemini-2.0-flash e Claude-3-haiku.
  • Rispetto al modello base non fine-tunato, c'è stato un miglioramento del 41,54%.
• Efficienza dei Costi: L'architettura a doppio strato riduce i costi operativi del 33-47% rispetto all'uso diretto di un LLM su tutti i messaggi, poiché il primo strato filtra la maggior parte del rumore.
• Studio Utenti: In uno studio con 114 partecipanti, il 67% degli utenti ha espresso soddisfazione per la tempestività delle risposte, e il 44% ha trovato l'interfaccia a comandi (slash commands) "molto facile" da usare.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'applicazione dell'IA per la salute pubblica in contesti a risorse limitate:

• Scalabilità: Dimostra che è possibile costruire sistemi di emergenza efficaci senza dipendere esclusivamente da modelli LLM costosi e pesanti, rendendo la tecnologia accessibile anche in regioni con infrastrutture limitate.
• Inclusività Linguistica: Colma il divario per le lingue a bassa risorsa (come il bengalese) e le varianti di scrittura ibride (traslitterazione), spesso ignorate dai modelli pre-addestrati globali.
• Salvataggio di Vite: Riducendo i tempi di risposta e migliorando la precisione nel rilevamento delle richieste urgenti, il sistema ha il potenziale diretto di salvare vite umane accelerando il processo di donazione.
• Fondazione Futura: Il codice, il dataset e i modelli sono stati resi pubblici, fornendo una base solida per futuri sistemi di estrazione di informazioni in tempo reale su piattaforme social multi-piattaforma.

In sintesi, CBRS offre una soluzione robusta, economica e linguisticamente inclusiva per trasformare il caos dei social media in azioni di soccorso coordinate e tempestive.