Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

Nel moderno panorama digitale, l'intelligenza artificiale si è evoluta da uno strumento che risponde semplicemente a domande a un sistema che giudica la qualità di altri sistemi. Questo nuovo ruolo, spesso chiamato "AI come giudice", viene utilizzato sempre più per valutare saggi, revisionare codice e filtrare contenuti prima che raggiungano un lettore umano. L'assunto alla base di questa pratica è che il giudice IA valuti ogni opera per i propri meriti, trattando ogni sottomissione come un nuovo inizio. Tuttavia, la psicologia umana conosce da tempo un fenomeno chiamato ancoraggio, in cui la stima o la decisione di una persona viene sottilmente trascinata verso un numero visto in precedenza, anche se quel numero è casuale o irrilevante. Per decenni, i ricercatori hanno osservato questo fenomeno nelle persone, dalle sentenze nei tribunali alle negoziazioni sui prezzi. La domanda critica per l'era digitale è se questi stessi pregiudizi umani esistano all'interno delle macchine di cui ci fidiamo per la loro imparzialità. Se un giudice IA è influenzato da un punteggio precedente che vede in sottofondo, l'intero sistema di valutazione automatizzata potrebbe essere sistematicamente distorto, portando a rifiuti o approvazioni ingiusti dei contenuti.

Un team di ricercatori di Infobip si è proposto di testare direttamente questa ipotesi. Hanno progettato un esperimento per vedere se il punteggio di un giudice IA cambierebbe semplicemente perché gli è stato mostrato un punteggio precedente proveniente da un altro giudice, anche quando quel punteggio precedente era completamente slegato dal lavoro attuale. Hanno raccolto otto diversi modelli linguistici di grandi dimensioni, che spaziavano da sistemi massicci e potenti a sistemi più piccoli ed efficienti, e hanno chiesto loro di valutare venti diversi pezzi di testo. Questi testi coprivano quattro aree distinte: riassumere articoli, revisionare codice informatico, scrivere storie creative e rispondere a domande fattuali. I ricercatori hanno creato tre diversi scenari per i giudici IA. Nel primo scenario, il giudice vedeva solo il compito e il testo. Nel secondo, il giudice vedeva il testo con una nota che indicava che si trattava di una revisione. Nel terzo, il giudice vedeva il testo insieme a una nota che includeva un numero specifico rappresentante un "punteggio precedente" da un tentativo precedente. Fondamentalmente, questi punteggi precedenti erano numeri generati casualmente che erano sempre al di sotto della soglia di sufficienza, il che significava che erano progettati per essere non informativi e irrilevanti rispetto alla qualità effettiva del testo.

I risultati sono stati chiari e coerenti in la maggior parte dei modelli testati. Quando i giudici IA gli sono stati mostrati il punteggio precedente casuale, la loro valutazione si è spostata significativamente verso il basso. Invece di trattare il testo come un'opera autonoma, i modelli sembravano ancorare il proprio giudizio a quel numero più basso. Nello studio, sette modelli su otto hanno mostrato un calo statisticamente significativo dei punteggi quando il punteggio precedente era presente. L'effetto non è stato solo una piccola fluttuazione; per alcuni modelli, lo spostamento è stato abbastanza grande da cambiare l'esito della valutazione. Ad esempio, in uno dei modelli più potenti testati, la presenza di un punteggio precedente ha causato una diminuzione del tasso di accettazione del testo di quasi ventidue punti percentuali. Ciò significa che contenuti che sarebbero stati approvati come di buona qualità sono stati improvvisamente rifiutati semplicemente perché il giudice aveva visto un numero più basso in sottofondo. I ricercatori hanno scoperto che questo pregiudizio non era uniforme in tutti i tipi di compiti; era più forte nella scrittura creativa e nelle domande fattuali, mentre la revisione del codice mostrava una reazione più debole e incoerente.

Per capire come ciò accadesse all'interno della macchina, i ricercatori hanno esaminato le parole specifiche che i modelli stavano considerando mentre generavano i loro punteggi. Hanno scoperto un modello che somigliava a un interruttore che scatta piuttosto che a uno scivolamento graduale. Quando il punteggio precedente veniva introdotto, la probabilità del modello di scegliere un punteggio alto scendeva bruscamente, e la probabilità di scegliere un punteggio più basso aumentava. Tuttavia, cambiare il valore specifico di quel punteggio precedente non sembrava contare molto; la mera presenza del numero innescava lo spostamento. Ciò suggerisce che i modelli non stiano calcolando attentamente una nuova media, ma stiano reagendo all'esistenza dei metadati stessi. I ricercatori hanno anche testato se semplici istruzioni potessero risolvere il problema. Hanno provato a chiedere ai modelli di pensare passo dopo passo prima di valutare, e hanno provato a avvertire esplicitamente i modelli di ignorare i punteggi precedenti. Nessuna di queste strategie ha funzionato. In effetti, in alcuni casi, le istruzioni passo dopo passo hanno peggiorato il pregiudizio, e l'avvertimento esplicito non è riuscito a impedire ai punteggi di scendere, anche se ha ridotto la tendenza dei modelli a seguire il numero specifico se erano già influenzati.

Lo studio è andato oltre per vedere se questo pregiudizio influenzasse le decisioni nel mondo reale, non solo i numeri astratti. Utilizzando un dataset di campagne di messaggistica che erano già state etichettate dagli esseri umani come sicure o proibite, i ricercatori hanno testato come i giudici IA si comportassero quando ricevevano un'etichetta precedente errata. Quando l'IA gli veniva mostrata un'etichetta precedente errata, non riusciva a correggere l'errore in quasi la metà dei casi in cui altrimenti lo avrebbe fatto. Inveve, spesso restava fedele all'etichetta errata fornita nei metadati. In un test a coppie in cui l'IA aveva precedentemente dato la risposta corretta, l'introduzione di un'etichetta precedente errata ha causato il ribaltamento del suo giudizio corretto verso quello errato in oltre il dieci per cento dei casi. Ciò dimostra che il pregiudizio si estende oltre la semplice punteggiatura ai processi decisionali categorici che determinano se un contenuto sia consentito o bloccato. I ricercatori hanno concluso che l'unico modo affidabile per prevenire questo pregiudizio è rimuovere completamente i metadati irrilevanti dal prompt. Hanno scoperto che nessun amount di prompting o avvertimento poteva ripristinare completamente l'indipendenza del giudice una volta che quell'informazione precedente era presente.

Le implicazioni di queste scoperte sono significative per chiunque si affidi all'IA per effettuare valutazioni eque. Lo studio dimostra che l'assunto di imparzialità nei sistemi automatizzati è fragile. Anche quando le informazioni fornite sono chiaramente irrilevanti, i modelli non sono immuni all'influenza del contesto. Il pregiudizio non è un bug che può essere facilmente corretto con una semplice istruzione; sembra essere una parte fondamentale del modo in cui questi sistemi elaborano le informazioni. I ricercatori hanno sottolineato che, sebbene i loro test abbiano coperto un set specifico di modelli e compiti, i risultati suggeriscono una vulnerabilità più ampia. Per costruire sistemi affidabili, gli sviluppatori devono progettare attentamente il contesto in cui opera l'IA, assicurandosi che nessun numero o etichetta estranea dai passaggi precedenti trapeli nella valutazione corrente. La strada da seguire richiede una validazione attiva per ogni specifico modello e compito, piuttosto che una fede passiva che la macchina veda il mondo chiaramente da sola.