Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

Nelle scienze sociali, i ricercatori si affidano da tempo a un processo lento e meticoloso per comprendere la comunicazione umana. Leggono migliaia di documenti — articoli di giornale, discorsi politici o commenti sui social media — e li classificano in categorie basate su ciò che il testo afferma. Questo è chiamato analisi del contenuto. Per decenni, il metodo più affidabile è stato quello di assumere lettori umani per svolgere questa classificazione. Gli esseri umani sono flessibili e possono comprendere le sfumature, ma sono anche lenti, costosi e limitati dalle ore che possono lavorare. Negli ultimi anni, sono emersi potenti programmi informatici noti come modelli linguistici di grandi dimensioni (large language models). Questi programmi possono leggere e scrivere il linguaggio umano con una straordinaria abilità, offrendo la promessa di automatizzare questo processo di classificazione. Tuttavia, chiedere semplicemente a un computer di leggere un testo e categorizzarlo porta spesso a risultati incoerenti. Il computer potrebbe dare una risposta diversa allo stesso testo se interrogato due volte, oppure potrebbe fraintendere le regole specifiche in mente al ricercatore. La sfida centrale è stata come tradurre le regole meticolose, create dall'uomo, di uno studio in istruzioni che un computer possa seguire in modo affidabile, senza perdere l'accuratezza fornita dagli esperti umani.

Un team di ricercatori dell'Università di Hohenheim ha sviluppato un nuovo metodo per risolvere questo problema, che chiamano HALC. Il loro obiettivo era creare una pipeline passo dopo passo che permettesse agli scienziati di utilizzare questi potenti modelli informatici per codificare i dati in modo sistematico e trasparente, piuttosto che affidarsi alle supposizioni. I ricercatori hanno iniziato riconoscendo che, sebbene questi modelli informatici siano impressionanti, non sono perfetti. Possono essere imprevedibili e le loro prestazioni cambiano a seconda di come viene chiesto loro di svolgere un compito. Per costruire un sistema affidabile, il team ha prima condotto un ampio studio preliminare. Hanno preso un insieme di commenti sui movimenti climatici e hanno chiesto ai modelli informatici di leggerli ripetutamente. Hanno testato centinaia di modi diversi di formulare le istruzioni, o "prompt", per vedere quali producessero i risultati più coerenti e accurati. Hanno scoperto che chiedere al computer di leggere lo stesso testo cinque volte e poi prendere la risposta più comune stabilizzava significativamente i risultati. Hanno anche scoperto che la qualità dei dati umani iniziali utilizzati per istruire il computer contava molto; se la verità di base (ground truth) umana era incerta, anche i risultati del computer erano incerti. Soprattutto, hanno imparato che le migliori istruzioni non erano brevi o vaghe. I prompt di maggior successo erano dettagliati, chiedendo al computer di spiegare il proprio ragionamento passo dopo passo e di giustificare la decisione finale, proprio come un codificatore umano rifletterebbe su un problema prima di scrivere una risposta.

Costruendo su queste scoperte, i ricercatori hanno formalizzato la pipeline HALC. Questo processo inizia con un codice standard creato dall'uomo, che contiene le definizioni e le regole per un progetto di ricerca specifico. Invece di cercare di reinventare la ruota per il computer, i ricercatori traducono queste regole umane direttamente in un prompt strutturato. Successivamente, testano questo prompt su un piccolo campione di dati, confrontando l'output del computer con la codifica umana originale. Se il computer non rispetta gli standard di affidabilità umana, i ricercatori non si limitano a ipotizzare una nuova istruzione. Al contrario, seguono un processo rigoroso basato su regole per perfezionare il prompt, magari aggiungendo esempi più specifici o chiarendo una definizione, e poi lo testano di nuovo. Questo ciclo continua finché il computer non raggiunge un livello di accordo con i codificatori umani che sia considerato scientificamente accettabile. Solo allora utilizzano il computer per elaborare l'intero dataset. Questo approccio tratta il computer non come una scatola magica che lavora da sola, ma come uno strumento che deve essere attentamente calibrato rispetto al giudizio umano.

Per dimostrare che questo sistema funziona nel mondo reale, il team ha applicato la pipeline HALC a due tipi di dati completamente diversi. Il primo era una vasta collezione di manifesti dei partiti politici di cinque paesi diversi, scritti in inglese, tedesco e spagnolo. Il compito era identificare quali frasi discutevano l'immigrazione e se si concentrassero sul controllo delle frontiere o sull'integrazione delle persone già residenti nel paese. Il secondo dataset consisteva in rapporti annuali di trenta importanti aziende tedesche, dove l'obiettivo era determinare il tono della scrittura — se fosse positivo, negativo o neutro. In entrambi i casi, i ricercatori hanno utilizzato le stesse istruzioni in lingua inglese per il computer, facendo affidamento sulla capacità del modello di comprendere lingue diverse senza la necessità di un prompt separato per ciascuna di esse. I risultati sono stati incoraggianti. Per i testi politici, il computer ha raggiunto punteggi di affidabilità molto vicini a quelli dei codificatori umani originali, navigando con successo tra diverse lingue e contesti politici. Per i rapporti aziendali, il computer è stato ancora più efficace utilizzando un tipo specifico di modello progettato per il ragionamento complesso, dimostrando che la pipeline può adattarsi a diversi tipi di compiti.

Lo studio conclude che, sebbene i modelli linguistici di grandi dimensioni siano potenti, non possono semplicemente ricevere un compito e ci si può aspettare che lo eseguano perfettamente. Richiedono un approccio strutturato e sistematico per garantire che il loro output sia affidabile. La pipeline HALC offre un modo per colmare il divario tra l'esperienza umana e la velocità delle macchine. Fondando le istruzioni del computer sulle regole umane stabilite e testandole rigorosamente prima del dispiegamento completo, i ricercatori possono automatizzare il loro lavoro senza sacrificare la validità delle loro scoperte. Gli autori suggeriscono che questo metodo rende il processo di codifica automatizzata trasparente e riproducibile, consentendo ad altri scienziati di vedere esattamente come le istruzioni siano state costruite e verificate. Mentre i modelli informatici continuano a evolversi, il principio fondamentale rimane: l'automazione affidabile deriva da una stretta collaborazione tra il design umano e l'esecuzione della macchina, garantendo che i dati finali siano solidi quanto se fossero stati classificati da un team di esperti umani.