Riassunto Tecnico: Solo un Sondaggio? L'uso dei Large Language Models per la codifica di risposte aperte in lingua tedesca sulla motivazione del sondaggio

Definizione del Problema

La classificazione delle risposte aperte ai sondaggi è un compito che richiede molte risorse, tradizionalmente affidato alla codifica manuale umana o a modelli di apprendimento automatico (ML) supervisionati che richiedono estesi dati di addestramento, competenza e pre-elaborazione. Sebbene i Large Language Models (LLM) offrano potenzialità promettenti per la classificazione del testo grazie alla loro adattabilità linguistica e alla capacità di gestire input brevi e poveri di contesto, la ricerca esistente sull'applicazione degli LLM ai dati dei sondaggi è limitata. La maggior parte degli studi si concentra su risposte in lingua inglese, argomenti non complessi o singole famiglie di modelli. Inoltre, rimangono irrisolte le preoccupazioni riguardanti la riproducibilità, l'affidabilità e la generalizzabilità dei risultati a lingue diverse dall'inglese (nello specifico il tedesco) e a schemi di codifica complessi e multi-categoria. Questo studio affronta il divario nella comprensione delle condizioni in cui gli LLM possono essere sfruttati in modo efficiente e accurato per la codifica di risposte aperte in tedesco, specificamente riguardo alla motivazione del sondaggio.

Metodologia

Dati e Schema di Codifica

Lo studio utilizza i dati del GESIS Panel.pop, un panel tedesco a modalità mista basato sulla probabilità. Il dataset consiste in circa 25.000 risposte aperte a una domanda annuale riguardante le ragioni della partecipazione al sondaggio (ragioni primarie, secondarie e terziarie). Per l'analisi, è stato selezionato un campione casuale di 5.072 risposte. Queste risposte sono state codificate indipendentemente da due ricercatori esperti di sondaggi utilizzando uno schema di codifica predefinito composto da 22 categorie (incluse ragioni intrinseche, estrinseche e relative al sondaggio, nonché categorie generiche come "Nessuna ragione" e "Altro"). L'accordo tra i codificatori è stato elevato (Cohen's kappa = 0,91), con le discrepanze risolte da un esperto senior. Questi codici umani fungono da ground truth per la valutazione.

Selezione dei Modelli

Lo studio confronta tre famiglie di LLM allo stato dell'arte, selezionate per le loro capacità multilingue:

1. GPT-4o (OpenAI): Un modello proprietario noto per i miglioramenti nelle lingue non inglesi. È stato accessibile tramite AzureOpenAI per garantire la privacy dei dati e la riproducibilità.
2. Llama 3.2-3B-Instruct (Meta): Un modello open-source, selezionato come l'opzione multilingue più capace nel suo ambito disponibile in Europa.
3. Mistral-NeMo-Instruct-2407 (Mistral AI): Un modello open-source europeo specificamente progettato per applicazioni globali e multilingue, con una nota forza nella lingua tedesca.

Approcci di Prompting

Sono state valutate quattro distinte strategie di prompting:

• Zero-shot: Al modello viene fornito lo schema di codifica senza esempi o definizioni dettagliate.
• Zero-shot con Descrizioni: Il modello riceve lo schema di codifica con definizioni dettagliate per ogni categoria.
• Few-shot: Al modello viene fornito un esempio di risposta per categoria (22 esempi totali) insieme allo schema di codifica.
• Fine-tuning: Applicato solo a GPT-4o a causa dei vincoli di risorse. Il modello è stato sottoposto a fine-tuning su una parte dell'80% dei dati codificati dagli umani (4.048 risposte) ed è stato valutato sul restante 20% (1.024 risposte).

Configurazione Sperimentale

• Temperatura: Impostata a 0 per tutti i modelli per massimizzare il determinismo e l'affidabilità.
• Esecuzione: Ogni risposta è stata elaborata individualmente con memoria aggiornata. Le query sono state eseguite due volte per ogni modello/approccio per valutare l'affidabilità.
• Metriche di Valutazione: La metrica primaria è stata il macro F1 score, scelto per tenere conto della distribuzione sbilanciata delle categorie. Metriche aggiuntive includono la weighted F1, l'accuratezza e i Coefficienti di Correlazione Intra-classe (ICC) per l'affidabilità.

Risultati Chiave

Differenze di Performance tra i Modelli

• Superiorità del Modello: GPT-4o ha superato costantemente i modelli open-source (Llama e Mistral) in tutti gli approcci di prompting.
• Performance Assoluta: Senza fine-tuning, anche i migliori modelli open-source non hanno raggiunto livelli di performance soddisfacenti. GPT-4o ha ottenuto un macro F1 di circa 0,70 con il prompting few-shot, che era comunque inferiore alle performance dei metodi supervisionati (ad es. SVM) riportati in studi precedenti sugli stessi dati.
• Impatto del Fine-tuning: Il fine-tuning di GPT-4o ha prodotto un drastico aumento delle prestazioni, raggiungendo un macro F1 di 0,87. Questo approccio ha generato una distribuzione categorica che corrispondeva perfettamente al benchmark codificato dagli umani, con praticamente nessuna classificazione mancante.

Performance per Categoria

• Alta Performance: Tutti i modelli si sono comportati eccezionalmente bene sulle categorie frequenti e sostanziali come "incentivo", "interesse" e "divertimento" (macro F1 ~0,9).
• Bassa Performance: I modelli hanno avuto grandi difficoltà con le categorie generiche non sostanziali, specificamente "Nessuna ragione" (ad es. "non so", "???"), "Non identificabile/altro" e "Altre caratteristiche del sondaggio".
• Spostamenti Distribuzionali: A causa delle scarse prestazioni su specifiche categorie, i modelli non sottoposti a fine-tuning hanno prodotto distribuzioni categoriche distorte rispetto ai codificatori umani. Ad esempio, i modelli open-source hanno sovra-assegnato "curiosità" e sotto-assegnato "nessuna ragione", potenzialmente introducendo bias nelle analisi sostanziali.

Approcci di Prompting

• Zero-shot vs. Few-shot: Il prompting few-shot ha migliorato significativamente le prestazioni per i modelli open-source (un aumento di ~0,18 nel macro F1) ma ha avuto un effetto marginale su GPT-4o.
• Descrizioni: Fornire descrizioni dettagliate delle categorie non ha migliorato costantemente le prestazioni e, in alcuni casi, le ha peggiorate rispetto al semplice prompting zero-shot.
• Affidabilità: Tutti i modelli hanno mostrato un'alta affidabilità (ICC > 0,93) attraverso le iterazioni. Notevolmente, Mistral ha prodotto output identici tra le iterazioni quando la temperatura era impostata a zero, mentre GPT e Llama hanno mostrato variazioni minori, suggerendo che impostare la temperatura a zero non garantisce sempre il perfetto determinismo in tutte le implementazioni dei modelli.

Contributi Chiave

1. Verifica della Generalizzabilità: Lo studio dimostra che i risultati relativi a compiti di sondaggio in lingua inglese e non complessi non si generalizzano automaticamente a compiti di codifica complessi e multi-categoria in lingua tedesca.
2. Dipendenza dal Modello e dalla Strategia: Stabilisce che la performance degli LLM è altamente condizionata sia dall'architettura specifica del modello che dalla strategia di prompting. Non esiste un unico approccio "chiavi in mano" che funzioni universalmente bene.
3. Necessità del Fine-tuning: La ricerca evidenzia che per contesti specifici e complessi, il fine-tuning su dati codificati dagli umani è spesso necessario per raggiungere livelli di performance comparabili o superiori ai metodi supervisionati stabiliti.
4. Validità Distribuzionale: Avverte che l'uso di LLM non sottoposti a fine-tuning può portare a errori sistematici nelle distribuzioni categoriche, il che può compromettere le analisi sostanziali a valle dei dati del sondaggio.

Significato e Rivendicazioni

Il documento conclude che, sebbene gli LLM offrano potenziale per la codifica delle risposte aperte ai sondaggi, non sono una soluzione "universale".

• Per Contesti Facili: In contesti più semplici (ad es. inglese, argomenti comuni), gli LLM pronti all'uso possono servire come alternative efficienti alla codifica manuale o al ML tradizionale.
• Per Contesti Complessi: Per argomenti specifici e complessi in lingue diverse dall'inglese, la performance grezza degli LLM è spesso insufficiente rispetto ai metodi stabiliti. Il successo richiede o un attento prompt engineering (specificamente il prompting few-shot) o, più efficacemente, il fine-tuning su dati codificati dagli umani.
• Human-in-the-Loop: Gli autori affermano che l'essere umano deve rimanere nel ciclo (in the loop). Il fine-tuning richiede dati di benchmark codificati dagli umani, e l'affidabilità dei modelli non locali nel tempo non è garantita a causa di potenziali aggiornamenti o declassamenti (deprecation).
• Compromessi: I ricercatori devono valutare i compromessi tra modelli proprietari (alte prestazioni, costi, preoccupazioni per la privacy) e modelli open-source (privacy, riproducibilità, prestazioni inferiori, alti requisiti computazionali).

In definitiva, lo studio mette in guardia contro l'adozione acritica degli LLM per la codifica dei sondaggi, sottolineando che una rigorosa validazione rispetto ai benchmark umani è essenziale prima del dispiegamento, specialmente quando l'obiettivo è preservare l'integrità della distribuzione dei dati per l'analisi sostanziale.