Improving LLM First-Token Predictions in Multiple-Choice Question Answering via Output Prefilling

Titel

Het verbeteren van voorspellingen van het eerste token bij Large Language Models (LLM's) voor meerkeuzevragen via Output Prefilling

1. Het Probleem

Large Language Models (LLM's) worden vaak geëvalueerd op taken voor meerkeuzevragen (Multiple-Choice Question Answering, MCQA) met behulp van de First-Token Probability (FTP)-methode. Bij deze methode wordt het antwoord geselecteerd op basis van het token met de hoogste waarschijnlijkheid dat direct na de prompt wordt gegenereerd (bijv. 'A', 'B', 'C' of 'D').

Hoewel FTP efficiënt is, bleek het in de praktijk kwetsbaar en onbetrouwbaar te zijn. De auteurs identificeren twee kritieke fouten:

1. First-Token Misalignment: Het model genereert een volledig zinnetje in plaats van direct een symbool (bijv. "Ik denk dat het antwoord A is"). Hierdoor valt het eerste token buiten de geldige antwoordset, waardoor de evaluatie mislukt.
2. First-Token Misinterpretation: Het eerste token is wel een geldig symbool (bijv. 'A'), maar dient slechts als grammaticaal onderdeel van een zin die een ander antwoord impliceert (bijv. "Een mogelijke Antwoord is C"). Dit leidt tot een verkeerde interpretatie van het daadwerkelijke keuze van het model.

Deze onzekerheden verstoren de nauwkeurigheidsmetingen en maken vergelijkingen tussen modellen onbetrouwbaar.

2. Methodologie: Output Prefilling

De auteurs stellen een eenvoudige, maar krachtige oplossing voor: Output Prefilling.

• Concept: In plaats van alleen de vraag te geven, wordt er een gestructureerde, natuurlijke taal-voorvoegsel (prefix) direct aan het antwoordgedeelte van de prompt toegevoegd, voordat het model begint met genereren.
• Implementatie: De auteurs gebruiken een template zoals: "Gegeven de vraag en de mogelijke opties, is mijn antwoord: ". Dit wordt geplaatst direct na de assistant-tag in de chat-structuur van het model.
• Mechanisme: Door deze tekst als "reeds gegenereerde inhoud" te behandelen, dwingt het model het vervolggedeelte om logisch aan te sluiten bij de prefix. Dit stuurt het model mechanisch naar het genereren van een geldig symbool ('A', 'B', 'C', 'D') als het eerste token, zonder dat de modelparameters worden aangepast (zero-cost).
• Oorsprong: De techniek is oorspronkelijk ontwikkeld als een "prefilling attack" in de AI-beveiliging om veiligheidsfilters te omzeilen. De auteurs hergebruiken dit echter voor een constructief doel: het sturen van het gedrag van het model naar een gewenste outputindeling.

3. Belangrijkste Bijdragen

• Identificatie van Falen: Het paper kwantificeert voor het eerst systematisch de impact van misalignment en misinterpretation bij FTP-evaluaties op moderne LLM's.
• Zero-Cost Interventie: Het introduceren van output prefilling als een methode die geen extra berekening vereist (geen volledige decoding nodig) en geen fine-tuning van het model vereist.
• Uitgebreide Validatie: Het testen van de methode op een breed scala aan open-source modellen (Llama-3.1, Qwen, Gemma, Mistral, Phi, Zephyr) en diverse benchmarks (MMLU, RACE, ARC, SciQ, etc.).
• Calibratie-analyse: Het aantonen dat de methode niet alleen de nauwkeurigheid verbetert, maar ook de betrouwbaarheid van de voorspelde waarschijnlijkheid (calibratie) verhoogt.

4. Resultaten

De experimenten tonen aanzienlijke verbeteringen aan:

• Nauwkeurigheid: Output prefilling leidt tot consistente stijgingen in nauwkeurigheid over alle geteste modellen en benchmarks.
  • De grootste winst werd geboekt bij Gemma-2-9B (+25,9 punten) en Gemma-7B (+14,9 punten).
  • Zelfs sterke modellen zoals Llama-3.1-8B en Phi-4-14B lieten significante verbeteringen zien (+6,0 en +7,3 punten).
• Vergelijking met Open-ended Generatie: De methode met prefilling presteert vaak net zo goed als (en soms beter dan) dure open-ended generatie-methoden die een extra LLM-classificator (zoals GPT-3.5 of xFinder) vereisen om het antwoord uit vrije tekst te halen. Prefilling is echter veel efficiënter omdat het geen volledige generatie nodig heeft.
• Validiteit (FTVR): De "First-Token Validity Rate" (het percentage waarbij het eerste token een geldig antwoord is) steeg drastisch. Bij sommige modellen (zoals Gemma) was de validiteit zonder prefilling 0% (omdat ze altijd met "The" beginnen), maar steeg dit naar >95% met prefilling.
• Calibratie: Metingen zoals Adaptive Calibration Error (ACE), Brier Score en Log Loss verbeterden aanzienlijk. Dit betekent dat de modellen niet alleen beter gokten, maar ook hun onzekerheid realistischer inschatten (minder overmoedigheid bij fouten).
• Structuur: De "Continuation Diversity" (variabiliteit van het tweede token) nam af, wat aangeeft dat de outputindeling stabieler en voorspelbaarder werd.

5. Betekenis en Conclusie

Dit paper biedt een cruciale inzichtelijke bijdrage aan de evaluatie van LLM's. Het toont aan dat de standaard FTP-methode, die vaak als "gouden standaard" wordt gebruikt voor MCQA, fundamenteel gebrekkig is door de neiging van modellen om te "praten" in plaats van direct te "kiezen".

De voorgestelde Output Prefilling-strategie is een robuuste, goedkope en directe oplossing die de betrouwbaarheid van evaluaties drastisch verbetert. Het stelt onderzoekers en ontwikkelaars in staat om LLM-prestaties eerlijker te meten zonder de rekenkosten van volledige generatie of externe classifiers te hoeven betalen. De auteurs concluderen dat dit een essentiële best practice moet worden voor toekomstige MCQA-evaluaties.