Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors

Titolo dello Studio

Comprendere l'impatto del trauma: Costi e benefici degli LLM nella codifica delle interviste ai sopravvissuti alla violenza con armi da fuoco.

1. Il Problema

La violenza con armi da fuoco è una crisi di salute pubblica che colpisce in modo sproporzionato gli uomini neri negli Stati Uniti. La ricerca qualitativa, basata su interviste approfondite, è fondamentale per comprendere le esperienze vissute e progettare interventi efficaci. Tuttavia, l'analisi manuale di questi dati tramite analisi tematica e codifica induttiva è estremamente laboriosa e costosa, rallentando la pubblicazione dei risultati e l'implementazione di soluzioni basate sull'evidenza.

Nonostante la crescita esponenziale dei Modelli Linguistici su Larga Scala (LLM) e la loro integrazione in piattaforme di ricerca qualitativa, esistono preoccupazioni critiche:

• Bias e Rappresentatività: Gli LLM potrebbero non catturare accuratamente le esperienze di popolazioni vulnerabili, in particolare quelle che parlano l'Inglese Americano Afroamericano (AAE).
• Accessibilità: Le soluzioni migliori spesso richiedono modelli proprietari costosi o risorse computazionali elevate, inaccessibili per le comunità a basso reddito e le organizzazioni di ricerca marginalizzate.
• Censura Narrativa: I meccanismi di sicurezza (guardrail) degli LLM potrebbero rifiutare contenuti sensibili (traumi, violenza, sessualità), portando a una "cancellazione narrativa" dei dati cruciali.

2. Metodologia

Gli autori hanno sviluppato una pipeline di codifica automatica basata su LLM open-source per confrontarne l'efficacia con quella di codificatori umani su un dataset specifico.

• Dati: 21 interviste semi-strutturate a uomini neri sopravvissuti a violenze con armi da fuoco (raccolte tra il 2013 e il 2015 nel DC metro area). Le interviste sono state trascritte manualmente e anonimizzate.
• Codifica Umana (Ground Truth): Tre codificatori umani (donne nere) hanno analizzato le interviste utilizzando la teoria fondata (grounded theory) e l'analisi tematica induttiva, identificando 41 codici iniziali e 11 codici formali.
• Pipeline di Codifica Macchina (MC):
  • Modelli: Sono stati utilizzati modelli open-source di diverse dimensioni: Llama-3.2-1B-Instruct (1B parametri) e Llama-3.1-8B-Instruct (8B parametri), eseguiti su hardware universitario (GPU A100 e L4).
  • Preprocessing: Le interviste sono state suddivise in "chunk" (pezzi di testo) di massimo 256 token. Sono state testate tre strategie: testo intero, chunk accoppiati (domanda-risposta) e chunk basati sulle domande del protocollo.
  • Generazione dei Codici: I modelli hanno generato temi/codici tramite prompt zero-shot, assumendo l'identità di un "antropologo di studi afroamericani".
  • Clustering: I codici generati inizialmente (spesso migliaia) sono stati aggregati e clusterizzati utilizzando BERTopic per creare "codici formali" interpretabili.
  • Valutazione: Sono stati definiti due metriche principali:
    1. Percent Captured (% Captured): La percentuale di codici umani formali che sono stati catturati dal sistema macchina (Recall fuzzy).
    2. Percent Relevant (% Relevant): La percentuale di codici generati dalla macchina che corrispondono a codici umani (Precision fuzzy).
       La similarità semantica è stata calcolata tramite cosine similarity degli embedding (modello all-mpnet-base-v2).

3. Risultati Chiave

A. Performance di Codifica

• Volume dei Codici: La pipeline macchina ha generato un numero ingestibile di codici iniziali (media di 3072 unici) rispetto ai 41 umani.
• Qualità e Coerenza:
  • La strategia "testo intero" ha mostrato una rilevanza più alta ma una cattura inferiore.
  • La strategia "chunk accoppiati" ha ottenuto il miglior Percent Captured (fino al 100% nei casi migliori), ma con una Percent Relevant molto bassa (media del 10%).
  • Il modello più grande (Llama 8B) ha mostrato una rilevanza leggermente superiore (+2.6%) rispetto al modello più piccolo (Llama 1B), ma non ha migliorato significativamente la capacità di cattura.
• Impatto del Clustering: L'aggregazione tramite clustering ha ridotto il numero di codici a livelli gestibili (<60), ma ha peggiorato l'allineamento semantico con i codici umani. Molti codici formali generati dalla macchina non corrispondevano semanticamente ai cluster rappresentativi, indicando una perdita di precisione nel processo di sintesi.

B. Rifiuti e Censura (LLM Refusals)

Un risultato critico è stato il tasso elevato di rifiuti da parte degli LLM:

• In media, il 44% delle richieste di prompt è stato rifiutato.
• Motivi principali: I modelli hanno rifiutato di analizzare descrizioni di violenza con armi da fuoco (considerate troppo grafiche), attività sessuale e linguaggio AAE (incluso l'uso della "N-word", anche se non offensivo nel contesto).
• Conseguenza: Questo ha portato a una cancellazione narrativa significativa, ignorando fino al 65% delle esperienze di alcuni soggetti, inclusi temi centrali dello studio come il comportamento sessuale a rischio e l'esperienza del trauma.

C. Risorse Computazionali

Il modello più piccolo (Llama 1B), che richiede circa 6GB di VRAM, ha mostrato prestazioni vicine a quelle del modello 8B (che richiede 34GB VRAM), suggerendo che modelli a basso costo potrebbero essere sufficienti per alcune fasi, sebbene siano meno affidabili e più inclini a fissarsi su caratteristiche linguistiche colloquiali.

4. Contributi Principali

1. Valutazione Critica degli LLM in Contesti Sensibili: Lo studio dimostra che gli LLM attuali, anche quelli open-source, non sono pronti per sostituire i ricercatori umani nell'analisi qualitativa di comunità marginalizzate e traumi complessi.
2. Identificazione del Bias di Censura: Dimostra come i "guardrail" etici degli LLM possano paradossalmente danneggiare la ricerca scientifica rifiutando dati legittimi su violenza e trauma, portando a una distorsione dei risultati.
3. Pipeline Riproducibile: Fornisce una pipeline tecnica completa (preprocessing, prompting, clustering) e un confronto quantitativo tra codifica umana e macchina, evidenziando i compromessi tra velocità e accuratezza.
4. Avvertenza sull'Automazione: Smentisce l'idea che l'automazione garantisca risparmio di tempo netto; il tempo necessario per validare, correggere e filtrare i codici generati dall'AI (spesso allucinazioni o codici irrilevanti) annulla i benefici iniziali.

5. Significato e Conclusioni

Lo studio conclude che non è attualmente possibile affidarsi agli assistenti AI e agli LLM per codificare narrazioni di sopravvissuti a violenze traumatiche senza rischi significativi di:

• Cancellazione Narrativa: Perdita di dati cruciali a causa dei filtri di sicurezza.
• Risultati Allucinati: Generazione di codici non supportati dai dati.
• Bias Sistemici: Rafforzamento di stereotipi razziali e incomprensione delle sfumature linguistiche (AAE).

Sebbene gli LLM abbiano il potenziale per accelerare la ricerca, le attuali limitazioni etiche e tecniche richiedono un approccio cauto. Per le comunità a basso risorse e per la ricerca su popolazioni marginalizzate, è necessario sviluppare strumenti AI specifici, meno soggetti a bias e capaci di gestire contesti sensibili senza censurare i dati. L'intervento umano rimane indispensabile per garantire l'accuratezza, l'etica e la validità scientifica dell'analisi.