💻 computer science

Persona Non Grata: LLM Persona-Driven Generations in MCQA are Unstable in Distinct Dimensions

Questo articolo investiga l'instabilità delle generazioni basate su persona nei modelli linguistici di grandi dimensioni per il superamento di test a scelta multipla, rivelando che le prestazioni variano significativamente tra diverse famiglie, dimensioni e domini di modelli, e sono più sensibili ai formati dei prompt rispetto ad altri iperparametri come la temperatura.

Autori originali: César Guerra-Solano, Xiang Lorraine Li

Pubblicato 2026-07-02

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: César Guerra-Solano, Xiang Lorraine Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente e versatile. Puoi dire a questo robot: "Fingi di essere un avvocato", oppure "Fingi di essere un biologo", e poi porgli una serie di domande a scelta multipla. Questo è chiamato Persona-Driven Generation (PDG). L'idea è che il "personaggio" del robot potrebbe aiutarlo a rispondere meglio, o almeno a rimanere coerente.

Questo articolo è come un ispettore del controllo qualità per questi personaggi robotici. Gli autori si sono posti una domanda semplice ma spaventosa: se chiediamo allo stesso robot di essere lo stesso personaggio, ma cambiamo i minimi dettagli del modo in cui poniamo la domanda, il robot dà le stesse risposte?

Hanno scoperto che la risposta è spesso no. Il robot è sorprendentemente instabile, come un camaleonte che cambia colore non solo in base allo sfondo, ma anche in base al fatto che tu sbadigli o starnutisca.

Ecco una ripartizione delle loro scoperte utilizzando semplici analogie:

1. I tre modi per misurare l'instabilità

I ricercatori non si sono limitati a guardare se il robot dava la risposta corretta. Hanno costruito tre specifici "misuratori di instabilità":

Il Misuratore del Punteggio (Instabilità delle Prestazioni): Se chiedi al robot la stessa domanda di matematica 10 volte con istruzioni leggermente diverse, ottiene l'80% di risposte corrette ogni volta? O oscilla tra il 60% e il 90%?
- Analogia: Immagina un giocatore di freccette. Se colpisce il centro ogni volta, è stabile. Se colpisce il centro, poi l'anello esterno, poi il pavimento e poi di nuovo il centro, è instabile.
Il Misuratore del Vincitore (Instabilità dei Risultati): In una competizione, chi è il personaggio "migliore"? Il "Avvocato" è sempre il migliore nelle domande legali?
- Analogia: Immagina una gara. In una versione della gara, l'Avvocato vince. In una versione leggermente diversa della gara (magari il colpo di pistola di partenza è stato più forte), il Biologo vince. Il documento ha scoperto che chi vince la gara cambia drasticamente a seconda dei minimi dettagli della configurazione.
Il Misuratore delle Domande (Instabilità della Correttezza delle Domande): Il robot ha risposto correttamente alle stesse specifiche domande?
- Analogia: Immagina uno studente che sostiene un esame. In una versione ha risposto correttamente alle domande 1, 2 e 3. In un'altra, ha risposto correttamente a 1, 4 e 5. Ha ottenuto lo stesso punteggio, ma sapeva cose diverse. Questo misuratore controlla se il robot sta imparando o se sta solo indovinando a caso.

2. Le scoperte principali: Cosa fa tremare il robot?

Il "Come chiedi" conta più di "Quanto sei caldo"
I ricercatori hanno testato tre cose che potrebbero cambiare il comportamento del robot:

Temperatura: Quanto il robot è "creativo" o casuale.
Prompt del Personaggio (Persona Prompt): Come dici al robot chi essere (ad esempio, "Sei un avvocato" rispetto a "Adotta l'identità di un avvocato").
Prompt del Compito (Task Prompt): Come poni la domanda (ad esempio, "Dai solo la risposta" rispetto a "Spiega il tuo ragionamento").

La Grande Sorpresa: Il modo in cui formuli il Task Prompt (come poni la domanda) ha causato il caos maggiore.

Analogia: Immagina di cucinare una torta. Potresti pensare che la temperatura del forno (Temperatura) sia la cosa più importante. Ma questo articolo dice che le istruzioni della ricetta (Task Prompt) sono in realtà il problema. Se dici al robot di "spiegare il suo pensiero" invece di "dare solo la risposta", le prestazioni del robot diventano molto più imprevedibili.

Matematica e Senso Comune sono i peggiori colpevoli
Il robot era più instabile quando rispondeva a domande di Matematica o di Senso Comune.

Analogia: È come uno studente che è bravo a memorizzare date storiche ma si agita e cambia idea ogni volta che deve risolvere un problema di matematica o spiegare perché un gatto si trova su un tappetino. L'articolo suggerisce che questo accade perché i robot non sono addestrati così intensamente su questi specifici tipi di logica rispetto ad altri argomenti.

I robot più grandi sono più stabili (di solito)
In generale, i modelli più grandi e potenti erano più stabili dei modelli più piccoli.

Analogia: Una grande nave pesante è meno soggetta a dondolare nelle onde rispetto a una piccola motovedetta. Tuttavia, c'è un'eccezione: un modello molto grande (Qwen 14B) è diventato effettivamente più instabile quando gli è stato chiesto di "spiegare" le sue risposte, probabilmente perché ha iniziato a usare un "chain of thought" (pensare ad alta voce) che ha confuso la valutazione.

Il personaggio conta meno della configurazione
Potresti pensare che essere un "Avvocato" faccia agire il robot diversamente rispetto a essere un "Medico". Il documento ha scoperto che il personaggio specifico (persona) non contava molto.

Analogia: Non importa se l'attore indossa un camice da medico o un abito da avvocato; se il regista (le istruzioni del prompt) è instabile, l'intera performance sarà instabile. L'instabilità deriva dalle istruzioni, non dal costume.

3. Perché questo è importante (Secondo l'articolo)

L'articolo avverte che se esegui un esperimento oggi per vedere quale personaggio robotico è il migliore, e lo esegui di nuovo domani con un formato di prompt leggermente diverso, potresti ottenere un risultato completamente diverso.

Lo scenario "Instabile": In un contesto, il robot pensa che un "Avvocato" sia il migliore per rispondere alle domande. In un contesto "instabile", potrebbe pensare che un "Biologo" sia il migliore, o che una "persona ispanica" si comporti diversamente da una "persona bianca" nei test di matematica.
Il Pericolo: L'articolo sostiene che queste differenze potrebbero non essere veri pregiudizi nel cervello del robot. Inveve, potrebbero essere solo artefatti di una configurazione instabile. Se il robot è instabile, non puoi fidarti di lui per dirti se è prevenuto o meno.

Riassunto

Questo articolo è un'etichetta di avvertimento per chiunque utilizzi l'IA per interpretare un personaggio. Dice: "Non fidarti solo della risposta. Controlla se la risposta cambia se modifichi le istruzioni."

La "personalità" del robot è fragile. Se cambi il modo in cui poni la domanda (specialmente se chiedi di spiegare il proprio lavoro), il robot potrebbe cambiare idea su chi sia il "miglior" personaggio, su quali domande risponda correttamente e persino sul suo punteggio complessivo. Per ottenere risultati affidabili, è necessario trovare le impostazioni "stabili" (come chiedere risposte semplici senza spiegazioni) e attenersi ad esse.

Sintesi Tecnica: Persona Non Grata: Le Generazioni Guidate da Persona (PDG) negli LLM sono instabili nelle MCQA in dimensioni distinte

Definizione del Problema

Sebbene le Generazioni Guidate da Persona (PDG) siano ampiamente utilizzate nella ricerca e nell'industria — dove i Large Language Models (LLM) adottano ruoli specifici per completare compiti — la letteratura esistente si concentra principalmente sulla stabilità di queste persone nella generazione di testo libero (ad esempio, il dialogo). Al contrario, la stabilità delle PDG negli output non densi di testo, specificamente nelle Risposte a Domande a Scelta Multipla (MCQA), rimane scarsamente esplorata. Nelle impostazioni MCQA, una persona si esprime attraverso la performance nel compito (ad esempio, un biologo che risponde a domande di biologia) piuttosto che attraverso la generazione di testo stilistico. Studi precedenti suggeriscono che queste impostazioni siano implicitamente influenzate da bias e imprevedibili, tuttavia mancano di standardizzazione riguardo alla scelta dei modelli e agli iperparametri. Questo articolo affronta il vuoto nella caratterizzazione e quantificazione dell'instabilità delle PDG degli LLM nei compiti MCQA attraverso diversi setting sperimentali.

Metodologia

Gli autori valutano quattro famiglie di LLM open-source (Llama-3.2-1B, Llama-3.1-8B, Qwen2.5-1.5B, Qwen2.5-7B e Qwen2.5-14B) attraverso 48 distinti setting sperimentali. Questi setting derivano da combinazioni di tre iperparametri:

Persona Prompt Format (PPF): Variazioni su come la persona viene introdotta (ad esempio, "barebones" vs "identitynature").
Task Prompt Format (TPF): Variazioni su come la domanda viene presentata (ad esempio, "justanswer" vs "explain-persona").
Temperatura ( $\tau$ ): Impostata a 0.0, 0.5 e 1.0.

La valutazione utilizza un dataset composito ( $D$ ) di circa 5.000 domande tratte da MMLU, Social IQa e NormAd-Eti, coprendo 10 domini (es. Matematica, Storia, Medicina). Lo studio coinvolge 41 persone distinte categorizzate in gruppi basati sull'identità (es. razza, genere) e ruoli occupazionali (es. avvocato, biologo).

Per quantificare l'instabilità, gli autori propongono tre metriche distinte:

Instabilità della Performance ( $I_A$ ): Misura la sensibilità dell'accuratezza del modello attraverso i setting sperimentali. Calcola la media delle differenze assolute a coppie dell'accuratezza per una persona attraverso tutte le coppie di setting.
Instabilità dell'Esito ( $I_O$ ): Misura la variabilità nelle conclusioni sperimentali, specificamente la classifica delle persone. Calcola la deviazione standard ponderata del rango di una persona attraverso i setting, dove i pesi sono determinati dalla deviazione standard delle accuratezze in quel setting (tenendo conto della parità del modello).
Instabilità della Correttezza delle Domande ( $I_Q$ ): Misura la coerenza delle specifiche domande risposte correttamente. Calcola la somiglianza di Jaccard dell'insieme delle domande risposte correttamente attraverso tutti i setting per una persona, poi sottrae questo valore da 1 per rappresentare la percentuale di domande corrette non condivise.

Risultati Chiave

Lo studio rivela che le PDG nelle MCQA sono fortemente instabili, con variazioni significative osservate anche tra configurazioni sperimentali simili utilizzate in lavori precedenti.

Dimensione e Famiglia del Modello: L'instabilità generalmente diminuisce all'aumentare della dimensione del modello. I modelli più grandi (es. Qwen2.5-14B) mostrano punteggi di instabilità inferiori in tutte e tre le dimensioni rispetto ai loro omologhi più piccoli (es. Llama-3.2-1B). Tuttavia, le famiglie di modelli mostrano anche pattern di instabilità distinti.
Influenza degli Iperparametri:
- Task Prompt Format (TPF): Identificato come l'iperparametro più influente per l'instabilità. Le variazioni nel TPF (particolarmente i formati "explain") hanno introdotto più instabilità di previsione rispetto alla temperatura o ai formati di prompt della persona.
- Temperatura: Temperature più alte ( $\tau=1.0$ ) hanno portato costantemente a una maggiore instabilità rispetto a $\tau=0.0$ .
- Verbosità del Prompt: Formati di prompt più verbali o astratti (es. "identitynature") hanno generalmente prodotto una minore stabilità rispetto ai formati "barebones".
Specificità del Dominio: L'instabilità varia significativamente per dominio di domanda. Le domande di Matematica e Ragionamento Comune hanno mostrato la massima instabilità, mentre quelle di Storia e Consapevolezza Culturale hanno mostrato la minima. Gli autori ipotizzano che ciò sia legato alle disparità nella rappresentazione dei dati di addestramento per questi domini.
Indipendenza dalla Persona: La specifica persona utilizzata (che si tratti di identità o ruoli occupazionali) ha avuto poca correlazione con il grado di instabilità. L'instabilità era guidata più dai setting sperimentali che dalla persona stessa.
Stabilità vs Accuratezza: Esiste una forte relazione tra stabilità e accuratezza. I setting "stabili" (es. $\tau=0$ , prompt semplici) hanno generalmente prodotto un'accuratezza media e massima superiore rispetto ai setting "instabili".
Divergenza degli Esiti: Diversi setting sperimentali hanno portato a conclusioni fondamentalmente diverse su quale persona performasse meglio. Nei setting instabili, la classifica delle persone poteva cambiare drasticamente, e le persone legate a fattori demografici (che non dovrebbero influenzare la performance su compiti irrilevanti) hanno mostrato comportamenti inconsistenti e potenzialmente distorti che variavano a seconda del setting.

Significato e Contributi

L'articolo rivendica tre contributi primari:

Identificazione dell'Instabilità: Dimostra che le PDG nelle MCQA non sono robuste, mostrando un'alta varianza nella performance, nella classificazione degli esiti e nella correttezza a livello di domanda attraverso le variazioni standard degli iperparametri.
Metriche Innovative: Introduce tre metriche specifiche ( $I_A, I_O, I_Q$ ) che catturano dimensioni di instabilità oltre la semplice accuratezza, rivelando che punteggi di accuratezza identici possono mascherare significative inconsistenze su quali domande vengono risposte correttamente o su quale persona sia considerata "migliore".
Insight Azionabili: Lo studio fornisce prove azionabili sul fatto che la selezione degli iperparametri (particolarmente il TPF) impatta criticamente la validità degli esperimenti PDG. Evidenzia come i setting instabili possano portare a conclusioni contraddittorie riguardo l'efficacia e il bias delle persone, suggerendo che la ricerca futura debba controllare rigorosamente e riportare su queste dimensioni di stabilità per garantire risultati robusti e riproducibili.

Gli autori concludono che l'instabilità delle PDG è un fattore critico che può oscurare o simulare il bias, rendendo necessaria una transizione verso la valutazione della robustezza delle valutazioni guidate da persona insieme alla loro accuratezza.