Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

Sintesi Tecnica: Verso una Rilevazione Coerente delle Distorsioni Cognitive

Enunciato del Problema
La rilevazione automatizzata delle Distorsioni Cognitive (DC)—pattern di pensiero distorti associati a condizioni di salute mentale come depressione e ansia—affronta una sfida fondamentale: la soggettività. I dataset esistenti soffrono spesso di una bassa accordo inter-annotatore (IAA) tra esperti umani, portando a etichette "gold standard" rumorose e inaffidabili. I modelli addestrati su dati così incoerenti faticano a generalizzare, producendo spesso metriche di prestazione basse (ad esempio, punteggi F1 ponderati compresi tra 0,2 e 0,4). Inoltre, confrontare modelli addestrati su dataset con caratteristiche diverse (dimensioni, distribuzioni delle etichette o qualità delle annotazioni) utilizzando metriche tradizionali come il punteggio F1 è problematico, poiché i valori assoluti di prestazione non sono direttamente comparabili tra benchmark eterogenei.

Metodologia
Gli autori propongono un approccio a due facce: un framework di annotazione basato su LLM per generare etichette coerenti e una metrica di valutazione agnostica rispetto al dataset per confrontare equamente le prestazioni dei modelli.

1. Framework di Annotazione Basato su LLM:

   • Ipotesi: Invece di affidarsi a una singola previsione di un LLM, gli autori ipotizzano che esecuzioni multiple e indipendenti di un LLM sullo stesso testo rivelino pattern di etichettatura stabili. La ricorrenza coerente di un'etichetta tra le esecuzioni è trattata come un segnale di affidabilità interna, fungendo da proxy per la verità fondamentale in assenza di consenso umano.
   • Procedura: Lo studio utilizza il dataset pubblicamente disponibile "Therapist Q&A" (2.530 coppie utente-risposta). Gli autori impiegano i modelli GPT-4 e GPT-4o tramite API con due impostazioni di temperatura (0,5 e 0,7) per controllare la casualità.
   • Prompting: Vengono utilizzati due tipi di prompt: un Prompt Multi-Etichetta (MLP) che consente l'assegnazione non vincolata delle DC, e un Prompt Etichetta-Rankata (RLP) che vincola il modello a selezionare la DC più dominante (più un'eventuale secondaria).
   • Filtraggio della Coerenza: Ogni input viene elaborato attraverso cinque esecuzioni indipendenti per configurazione. Le etichette che appaiono in almeno 4 esecuzioni su 5 vengono selezionate come annotazioni finali. I punti dati che non raggiungono questa soglia sono marcati come ambigui ed esclusi per garantire la robustezza.

2. Valutazione Agnostica rispetto al Dataset:

   • Sfida: Le metriche standard (ad esempio, il punteggio F1) non possono confrontare equamente modelli addestrati su dataset con diverse distribuzioni delle etichette o dimensioni.
   • Soluzione: Gli autori introducono una metrica di dimensione dell'effetto normalizzata basata sul Kappa di Cohen ($\kappa_{F1}$).
   • Calcolo:
     • Viene calcolato teoricamente un Baseline Casuale ($F1_{random}$) basato sulla distribuzione delle classi del dataset, rappresentando la prestazione attesa di un modello che semplicemente rispecchia lo squilibrio delle classi senza apprendere.
     • La Prestazione del Modello ($F1_{calcolato}$) è il punteggio F1 ponderato del modello addestrato.
     • La metrica è calcolata come: $\kappa_{F1} = \frac{F1_{calcolato} - F1_{random}}{1 - F1_{random}}$.
   • Questo normalizza la prestazione rispetto al caso, consentendo confronti equi tra dataset e tra studi diversi.

Contributi Chiave

• Annotazione Affidabile tramite Ripetizione: Il documento dimostra che esecuzioni multiple e indipendenti di un LLM possono produrre annotazioni internamente coerenti (Kappa di Fleiss = 0,78 per GPT-4 a temperatura 0,5), superando la coerenza delle annotazioni umane sul dataset target.
• Miglioramento delle Prestazioni a valle: I modelli addestrati su queste etichette generate da LLM e filtrate per coerenza raggiungono costantemente prestazioni superiori (sia in F1 grezzo che in $\kappa_{F1}$ normalizzato) rispetto ai modelli addestrati sui dati "golden" originariamente etichettati da umani.
• Framework di Valutazione: L'introduzione della metrica $\kappa_{F1}$ fornisce un metodo principiato per valutare e confrontare modelli predittivi su dataset con caratteristiche diverse, colmando una lacuna nella valutazione NLP dove i benchmark sono instabili o non standardizzati.

Risultati

• Coerenza delle Annotazioni: GPT-4 con una temperatura di 0,5 ha raggiunto il più alto accordo tra le esecuzioni (Kappa di Fleiss = 0,78), significativamente superiore a GPT-4o o a impostazioni di temperatura più elevate. Oltre il 90% dei punti dati aveva almeno un'etichetta ripetuta in tutte e cinque le esecuzioni in condizioni ottimali.
• Prestazioni nel Compito a Valle: Nei compiti di classificazione binaria, multiclasse e multietichetta utilizzando MentalRoBERTa, i modelli addestrati su etichette generate da LLM (sia RLP che MLP) hanno costantemente superato quelli addestrati sul dataset originale etichettato da umani. Ad esempio, nel compito multietichetta con GPT-4-0,7, il modello addestrato su LLM ha mostrato un miglioramento del 33,1% rispetto al baseline casuale, rispetto al solo 16,1% per il modello etichettato da umani.
• Verifica Umana: Uno studio di verifica che ha coinvolto tre esperti di psicologia su un sottoinsieme di campioni in disaccordo ha prodotto risultati inconcludenti. Gli esperti non hanno mostrato una forte preferenza per le etichette LLM rispetto a quelle umane, e l'accordo inter-esperto è stato basso (Kappa di Fleiss = 0,20). Ciò suggerisce l'ambiguità intrinseca del compito e del dataset stesso, piuttosto che un fallimento del metodo LLM.

Significato e Affermazioni
Il documento afferma che per compiti NLP soggettivi in cui la verità fondamentale è irraggiungibile e l'accordo umano è basso, l'affidabilità (coerenza interna) è un prerequisito necessario per la validità. Trattando l'annotazione come un processo di interrogazione ripetuta piuttosto che come una previsione singola, gli LLM possono generare dati di addestramento internamente coerenti e a basso rumore che migliorano la generalizzazione dei modelli a valle.

Inoltre, gli autori sostengono che la proposta metrica $\kappa_{F1}$ offra una soluzione scalabile per la più ampia comunità NLP per confrontare modelli su dataset eterogenei senza affidarsi a un singolo benchmark, potenzialmente difettoso. Lo studio conclude che, sebbene il dataset specifico utilizzato presenti limitazioni (ad esempio, gli input degli utenti descrivono spesso eventi piuttosto che pensieri distorti espliciti), la metodologia di sfruttamento della coerenza degli LLM e della valutazione basata sulla dimensione dell'effetto fornisce una base solida per avanzare la ricerca nell'NLP per la salute mentale e in altri domini soggettivi.