💬 NLP

Models Know Models Best: Evaluation via Model-Preferred Formats

Questo articolo propone una strategia di allineamento dinamico del formato che sfrutta un classificatore leggero addestrato su segnali preferiti dal modello per selezionare automaticamente tra formati di valutazione basati su simboli e in stile cloze, risolvendo così le discrepanze di prestazione e migliorando significativamente l'accuratezza zero-shot attraverso vari benchmark di LLM.

Autori originali: Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Pubblicato 2026-02-02

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover sostenere un test per dimostrare quanto sei intelligente. Ora, immagina che il test arrivi in due stili diversi:

Lo stile "Scelta Multipla": Leggi una domanda e poi devi scegliere una lettera (A, B, C o D) che corrisponda alla risposta.
Lo stile "Riempimento degli spazi": Leggi una frase che si interrompe bruscamente e devi completare la frase con le parole corrette.

Per molto tempo, i ricercatori hanno pensato che questi due stili fossero solo modi diversi di porre la stessa domanda. In realtà, questo articolo, intitolato "Models Know Models Best" (I modelli conoscono meglio i modelli), ha scoperto qualcosa di sorprendente: I Large Language Models (LLM) non amano entrambi gli stili allo stesso modo. Infatti, lo stile che scegli può far sembrare un modello un genio o un fallimento totale, anche se la domanda è esattamente la stessa.

Ecco la scomposizione di ciò che gli autori hanno scoperto, utilizzando alcune semplici analogie.

1. Il problema del "Lo strumento sbagliato per il lavoro"

I ricercatori hanno testato 22 diversi modelli di IA su 8 diversi tipi di domande. Hanno trovato un modello chiaro:

Lo stile "Simbolo" (Scegliere A, B, C, D): Questo funziona meglio per le domande che richiedono di confrontare le opzioni. Pensa a un menu dove devi scegliere un piatto che si adatti alla tua dieta. Il modello deve guardare tutte le opzioni fianco a fianco per fare una scelta.
Lo stile "Cloze" (Riempimento degli spazi): Questo funziona meglio per le domande che richiedono di continuare una storia. Pensa a completare una frase in un romanzo. Il modello è addestrato a prevedere quale parola viene dopo in un flusso naturale.

Il Problema: Quando i ricercatori hanno costretto un modello "narratore" a scegliere una lettera da un elenco (stile Simbolo) per una domanda che riguardava in realtà il completamento di una frase, il punteggio del modello è crollato. Era come chiedere a un maratoneta di risolvere un'equazione matematica; è bravo a correre, ma il formato del test non corrispondeva ai suoi punti di forza.

2. Gli esseri umani non possono indovinare il formato migliore

Gli autori hanno prima cercato di risolvere questo problema chiedendo agli esseri umani di guardare una domanda e decidere: "Ehi, questa sembra una storia, quindi usiamo lo stile Riempimento degli spazi".

Il Risultato: Non ha funzionato bene. Gli esseri umani sono scarsi nel prevedere quale formato preferirà un'IA. A volte una domanda sembra una storia per un essere umano, ma l'IA preferisce in realtà l'elenco a scelta multipla. Affidarsi all'intuizione umana spesso ha fatto performare l'IA peggio.

3. La Soluzione: "Chiedi al modello cosa vuole"

Poiché gli esseri umani non potevano indovinare il formato giusto, gli autori hanno chiesto ai modelli stessi.

Hanno costruito un piccolo "poliziotto del traffico" leggero (un classificatore). Questo poliziotto del traffico guarda una specifica domanda e chiede all'IA: "Se ti dessi questa domanda come elenco a scelta multipla, quanto saresti fiduciosa? Se te la dessi come riempimento degli spazi, quanto saresti fiduciosa?"

In base ai segnali di fiducia interni dell'IA, il poliziotto del traffico decide quale formato utilizzare per quella specifica domanda.

Se la domanda riguarda il confronto tra opzioni: Il poliziotto del traffico dice: "Usa il formato Scelta Multipla (Simbolo)".
Se la domanda riguarda il completamento di una frase: Il poliziotto del traffico dice: "Usa il formato Riempimento degli spazi (Cloze)".

4. I Risultati: Sbloccare il potenziale nascosto

Quando hanno utilizzato questa strategia "Model-Preferred" (Preferita dal Modello), i risultati sono stati drammatici.

Per le domande di tipo "Storia": Le prestazioni dell'IA sono aumentate significativamente. Era come se avessero finalmente dato al corridore le scarpe giuste.
Per le domande di tipo "Confronto": Le prestazioni sono rimaste alte o sono migliorate leggermente.
La grande conclusione: L'articolo dimostra che molti modelli di IA sono in realtà molto più intelligenti di quanto pensassimo, ma spesso li stavamo testando con il "righello" sbagliato. Cambiando il righello per adattarlo al compito specifico, possiamo vedere le loro vere capacità.

Riassunto

L'articolo sostiene che non dovremmo semplicemente scegliere un formato di test e attenerci ad esso per tutto. Invece, dovremmo lasciare che l'IA ci dica quale formato preferisce per ogni specifico problema. In questo modo, smettiamo di far inciampare i modelli e iniziamo a vedere quanto sono davvero intelligenti.

In breve: L'articolo dimostra che il modo in cui poni una domanda conta tanto quanto la domanda stessa, e il modo migliore per capire il modo giusto di porla è ascoltare le preferenze del modello stesso.

Sintesi Tecnica: I Modelli Conoscono Meglio i Modelli: Valutazione tramite Formati Preferiti dai Modelli

Definizione del Problema

Il completamento di domande a scelta multipla (MCQA) è lo standard de facto per la valutazione dei Large Language Models (LLM). Tuttavia, studi recenti indicano che le prestazioni dei modelli in MCQA sono altamente sensibili alla formattazione dell'input, in particolare nella scelta tra i formati di valutazione basati su simboli e quelli in stile cloze.

Basati su simboli: Il modello seleziona un'opzione generando un'etichetta (ad es., "A", "B", "C", "D") corrispondente a un elenco di scelte.
Stile cloze: Il modello valuta la probabilità del testo della risposta stessa quando viene appesa al prompt, richiedendo spesso la normalizzazione della lunghezza.

La ricerca esistente evidenzia significative discrepanze di prestazioni tra questi due formati, ma le cause sottostanti rimangono scarsamente comprese. In particolare, non è chiaro se tali discrepanze siano stocastiche o sistematiche, e se le euristiche progettate dagli umani possano prevedere in modo affidabile il formato ottimale per un dato compito. Gli attuali protocolli di valutazione spesso si affidano a un singolo formato fisso, potenzialmente sottostimando le reali capacità degli LLM a causa del disallineamento tra formato e compito.

Metodologia

Il documento propone una strategia di allineamento dinamico del formato che seleziona il formato di valutazione ottimale per ogni istanza di problema basandosi sulle preferenze latenti del modello stesso, piuttosto che sull'intuizione umana.

1. Analisi del Baseline Empirico

Gli autori hanno condotto un confronto sistematico tra 22 LLM basati su decoder (inclusi le famiglie Qwen 3, Llama 3.1/3.2 e Mistral) e otto benchmark diversificati (ad es., MMLU, ARC, HellaSwag, PIQA).

Risultati: Le differenze di prestazione sono sistematiche e dipendenti dal compito.
- Compiti che favoriscono i simboli: Compiti che richiedono un confronto esplicito tra le opzioni (ad es., "Quale dei seguenti è...?") o che contengono opzioni come "Nessuna delle precedenti" (ad es., ARC, MMLU) performano significativamente meglio con i formati basati su simboli.
- Compiti che favoriscono il cloze: Compiti che richiedono la continuazione del linguaggio naturale (ad es., predire la frase successiva in una narrazione) performano significativamente meglio con i formati in stile cloze (ad es., HellaSwag, PIQA, WinoGrande).
In-Context Learning: Sebbene le dimostrazioni few-shot possano mitigare i disallineamenti di formato, non eliminano completamente il divario di prestazioni, e i modelli spesso non riescono a raggiungere il baseline del formato ottimale anche con 10 esempi.

2. Selezione del Formato Basata su Classificatore

Per affrontare queste incongruenze, gli autori introducono un classificatore leggero basato su encoder (DeBERTaV3 fine-tuned) che predice il formato preferito (Simbolo vs. Cloze) per ogni istanza di problema. Sono state esplorate due strategie di etichettatura per l'addestramento di questo classificatore:

Etichette Annotate da Umani: Un sottoinsieme di dati è stato etichettato manualmente sulla base di euristiche sintattiche (ad es., se l'opzione completa una frase o richiede un confronto esplicito).
- Risultato: Questo approccio ha portato a un degrado costante delle prestazioni, suggerendo che l'intuizione linguistica umana non si allinea con i bias induttivi latenti degli LLM riguardo alla preferenza del formato.
Etichette Generate dal Modello: Le etichette sono state derivate valutando il modello target (o un insieme di modelli) su entrambi i formati e selezionando quello in cui il modello ha dimostrato maggiore correttezza o confidenza (misurata tramite margini di probabilità).
- Algoritmo: Per una data istanza, se il modello risponde correttamente in un solo formato, quel formato viene scelto. Se è corretto in entrambi, viene selezionato il formato con il margine di confidenza più elevato (con una soglia $\delta$ per evitare il rumore).
- Generalizzazione: Per testare la trasferibilità, è stata impiegata una strategia di "voto a maggioranza" in cui le etichette sono state aggregate da tre distinti modelli di medie dimensioni (Llama 3.1 8B, Mistral 7B, Qwen3 8B) per addestrare un classificatore per modelli non visti.

Contributi Chiave

Caratterizzazione Sistematica del Bias di Formato: Il documento stabilisce che le discrepanze di prestazione in MCQA non sono stocastiche ma variano sistematicamente in base alle proprietà strutturali e linguistiche del compito. Questi pattern sono model-agnostic, emergendo costantemente attraverso diversi LLM basati su decoder.
Segnali di Preferenza Latente: Gli autori forniscono prove del fatto che le caratteristiche che governano la preferenza del formato sono codificate implicitamente nelle rappresentazioni latenti del modello. L'estrazione esplicita di questi segnali permette di recuperare le prestazioni altrimenti perse a causa di una formattazione subottimale.
Strategia di Allineamento Dinamico del Formato: Il metodo proposto sfrutta i segnali generati dal modello per selezionare dinamicamente il formato di valutazione ottimale per istanza. Questo approccio colma il divario tra capacità del modello e caratteristiche del compito senza richiedere euristiche prive di addestramento.

Risultati

I risultati della valutazione dimostrano che il classificatore generato dal modello supera significativamente sia i baseline a formato fisso che i classificatori annotati da umani.

Guadagni di Prestazione: Il metodo proposto produce miglioramenti sostanziali e costanti nell'accuratezza zero-shot su benchmark di ragionamento e intensivi sulla conoscenza.
- Sui compiti che favoriscono il cloze (ad es., HellaSwag, PIQA, WinoGrande), l'approccio supera spesso il baseline del formato "preferito", recuperando prestazioni significative (ad es., +16,7% su WinoGrande per Llama 3.2 1B, +28,3% per Qwen3 0.6B).
- Sui compiti che favoriscono i simboli (ad es., ARC, MMLU), il metodo mantiene la parità con l'originale formato preferito, evitando il degrado osservato con i classificatori annotati da umani.
Generalizzazione: L'approccio "majority-labeled", che aggrega i segnali da più modelli, ottiene guadagni comparabili ai classificatori "self-labeled". Ciò indica che le preferenze di formato non sono artefatti unici di modelli specifici, ma riflettono tendenze comuni dipendenti dal compito, inerenti agli LLM basati su decoder.
Euristiche Umane vs. Modello: I classificatori addestrati su etichette annotate da umani hanno costantemente degradato le prestazioni, confermando che l'intuizione umana è una proxy inaffidabile per le preferenze di formato dei modelli.

Significato

Il documento sostiene che le pratiche di valutazione a formato fisso attualmente sottostimano le capacità degli LLM. Dimostrando che i modelli possiedono bias latenti e dipendenti dal compito riguardo ai formati di valutazione, gli autori sottolineano l'importanza di allineare i protocolli di valutazione con questi bias induttivi.

La rilevanza di questo lavoro risiede nel suo contributo metodologico all'valutazione degli LLM:

Sfida l'assunzione che le euristiche progettate dagli umani siano sufficienti per determinare le strategie di valutazione ottimali.
Introduce un meccanismo a livello di istanza, privo di addestramento, per recuperare le capacità latenti del modello che sono oscurate da disallineamenti di formato.
Suggerisce che le valutazioni future debbano considerare come i modelli rappresentano internamente e rispondono a diversi formati di interazione per fornire una valutazione più accurata e approfondita delle prestazioni del modello.

Gli autori osservano che questa ricerca è principalmente metodologica, mirata a migliorare l'affidabilità e l'interpretabilità della valutazione dei modelli, e non solleva direttamente nuove preoccupazioni sociali o etiche oltre a quelle inerenti alla valutazione stessa degli LLM.