Improving LLM First-Token Predictions in Multiple-Choice Question Answering via Output Prefilling

1. Il Problema: Fragilità della Previsione del Primo Token (FTP)

Nella valutazione delle Questioni a Scelta Multipla (MCQA) tramite Large Language Models (LLM), il metodo standard è la First-Token Probability (FTP). In questo approccio, il modello seleziona l'opzione di risposta (es. 'A', 'B', 'C', 'D') basandosi sulla probabilità che il primo token generato corrisponda a una di queste etichette.

Sebbene efficiente e privo di bisogno di decodifica completa, il paper identifica che la FTP è fragile e soggetta a due principali modalità di fallimento:

• Misallineamento (Misalignment): Il modello non inizia la risposta con un'etichetta valida, ma genera frasi complete (es. "Credo che la risposta sia A") o stringhe ambigue. In questo caso, il token con la probabilità più alta non appartiene all'insieme delle opzioni valide, rendendo la valutazione inaffidabile.
• Misinterpretazione (Misinterpretation): Anche quando il primo token è un'etichetta valida (es. 'A'), potrebbe svolgere un ruolo puramente grammaticale o stilistico senza indicare la risposta scelta (es. "Una possibile risposta potrebbe essere C"). Qui, il token 'A' è valido sintatticamente ma semanticamente fuorviante.

Questi errori introducono rumore nelle metriche di accuratezza, distorcono i risultati e compromettono la calibrazione del modello (la corrispondenza tra la confidenza predetta e l'accuratezza reale).

2. Metodologia: Output Prefilling

Gli autori propongono una soluzione semplice ma efficace chiamata Output Prefilling.

• Concetto: Si tratta di riutilizzare una tecnica originariamente sviluppata nel campo della sicurezza dell'IA (nota come "prefilling attack" o iniezione di prompt), che consiste nell'inserire un prefisso di testo naturale all'inizio della risposta del modello per manipolarne il comportamento.
• Implementazione: Invece di chiedere al modello di generare liberamente, viene inserito un prefisso strutturato e benigno immediatamente dopo il token di inizio della risposta dell'assistente (es. <|assistant|>Given the question and the possible options, my answer is: ).
• Meccanismo: Questo prefisso "pre-compila" l'output del modello, costringendolo a continuare la frase in modo coerente con il formato richiesto. Poiché il modello tratta il testo pre-inserito come se fosse già stato generato, è "spinto" a produrre un'etichetta simbolica valida (A, B, C, D) come prossimo token, allineandosi meccanicamente al formato atteso senza modificare i parametri del modello.

3. Contributi Chiave

1. Identificazione delle vulnerabilità: Quantificazione rigorosa dei problemi di misallineamento e misinterpretazione nel contesto della valutazione FTP su modelli LLM moderni.
2. Metodologia Zero-Cost: Proposta di un metodo di valutazione che non richiede fine-tuning, modelli esterni aggiuntivi o decodifica completa, ma si basa su un semplice inserimento di testo nel prompt di output.
3. Valutazione Estensiva: Sperimentazione su una vasta gamma di modelli open-source (Llama-3.1, Qwen, Gemma, Mistral, Phi-4, Zephyr) e benchmark (MMLU, RACE, ARC, SciQ, ecc.).
4. Analisi della Calibrazione: Dimostrazione che il metodo migliora non solo l'accuratezza, ma anche la calibrazione delle probabilità del modello.

4. Risultati Sperimentali

I risultati ottenuti su diversi benchmark confermano l'efficacia della strategia:

• Miglioramento dell'Accuratezza: L'Output Prefilling porta a guadagni significativi di accuratezza rispetto alla FTP standard.
  • Il modello Gemma-2-9B ha mostrato il miglioramento più drastico, con un aumento medio di +25.9 punti percentuali.
  • Anche modelli già performanti come Llama-3.1-8B e Phi-4-14B hanno beneficiato del metodo, con aumenti rispettivamente di +6.0 e +7.3 punti.
  • In molti casi, la FTP con prefilling supera o eguaglia le prestazioni di approcci di generazione aperta (open-ended) che richiedono decodifica completa e classificatori esterni (come GPT-3.5 o xFinder), ma con una frazione del costo computazionale.
• Validità del Primo Token (FTVR): Analizzando la generazione su tutto il vocabolario (senza filtrare le opzioni), il prefilling aumenta drasticamente la percentuale di casi in cui il primo token è un'etichetta valida (es. da ~10% a ~99% in alcuni modelli come Llama-3.1).
• Calibrazione: Le metriche di calibrazione (Adaptive Calibration Error - ACE, Brier Score, Log Loss) migliorano costantemente. I modelli diventano meno "overconfident" (eccessivamente sicuri) quando sbagliano, rendendo le loro stime di probabilità più affidabili.
• Robustezza: L'analisi della struttura dell'output (Continuation Diversity) mostra che il prefilling riduce la diversità dei secondi token, indicando che il modello aderisce più coerentemente al formato simbolico richiesto.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi motivi:

• Affidabilità della Valutazione: Fornisce un metodo robusto per valutare le capacità di ragionamento e conoscenza dei LLM su compiti a scelta multipla, eliminando il rumore causato da formati di output incoerenti.
• Efficienza: Offre un'alternativa a basso costo computazionale rispetto alle tecniche di generazione libera che richiedono modelli classificatori esterni o decodifica completa.
• Nuova Prospettiva sulla Sicurezza: Dimostra come una tecnica nata per aggirare i filtri di sicurezza (prefilling) possa essere riutilizzata in modo costruttivo per migliorare la precisione e la struttura delle risposte dei modelli.
• Standardizzazione: Suggerisce che per le future valutazioni MCQA, l'uso di prefissi strutturati nell'output dovrebbe diventare una pratica standard per garantire confronti equi e accurati tra diversi modelli.

In sintesi, gli autori dimostrano che un semplice intervento di "pre-riempimento" dell'output può trasformare una valutazione fragile e rumorosa in un metodo affidabile, preciso e ben calibrato, senza richiedere modifiche ai modelli sottostanti.