Technisch overzicht: Verbeteren van LLM's via Validator-naar-Generator Alignment (FLORA)

Probleemstelling

Large Language Models (LLM's) vertonen een fundamentele inconsistentie die bekend staat als de Generator-Validator (G-V) kloof. In dit fenomeen kan een LLM die optreedt als generator een antwoord produceren met een hoge waarschijnlijkheid, terwijl het bij een herhaalde query als validator datzelfde antwoord als onjuist beschouwt (of vice versa). Deze inconsistentie ondermermt toepassingen die vertrouwen op zelfverfijning, backtracking en beloningsmodellering.

Eerdere pogingen om deze kloof te dichten door de correlatie tussen generator- en validatorscores te maximaliseren, stuitten op twee kritieke problemen:

1. Frequentiebias: Generators kennen vaak een lage waarschijnlijkheid toe aan geldige strings simpelweg omdat die strings a priori onwaarschijnlijk zijn (bijv. zeldzame synoniemen of specifieke formattering), niet omdat ze onjuist zijn. Naïeve consistentiemetingen houden geen rekening met dit aspect en straffen geldige maar onfrequente antwoorden af.
2. Aleatorische Onzekerheid: In taken met meerdere correcte antwoorden (bijv. "Noem een edelgas"), moet een validator alle correcte opties hoog scoren, maar een generator kan niet evenveel waarschijnlijkheid aan alle geldige opties toekennen zonder de wetten van de waarschijnlijkheid over een grote vocabulaire te schenden.

Bestaande methoden die deze factoren negeren, riskeren pathologische gedragingen, zoals het onderdrukken van correcte antwoorden of het introduceren van tegenstrijdige trainingssignalen.

Methodologie: FLORA

De auteurs stellen Frequency-corrected Learning of Ordered Rank Alignment (FLORA) voor, een trainingsdoelstelling die ontworpen is om generator- en validatorgedrag af te stemmen en tegelijkertijd de frequentie van uitingen te corrigeren.

1. Theoretische Formulering

Het artikel modelleert de LLM als een rationele probabilistische agent die opereert met een latente geloofstoestand $v$ (een vector van validiteitslabels voor alle mogelijke reacties).

• Validator ($p_V$): Vertegenwoordigt het geloof van het model dat een reactie $y$ correct is gegeven een prompt $x$.
• Generator ($p_G$): Vertegenwoordigt de waarschijnlijkheid van het genereren van $y$, wat een mengeling is van het geloof van het model over geldige sets en een beleid voor het selecteren van oppervlaktevormen onder de geldige opties.

De auteurs leiden een theoretische relatie (Theorema 1) af tussen de validator log-odds en de generator-waarschijnlijkheden. Ze tonen aan dat voor consistentie de generator-score moet worden aangepast met een factor die gerelateerd is aan de frequentie van de reactie wanneer deze onjuist wordt opgevraagd versus wanneer deze correct wordt opgevraagd.

Dit leidt tot de definitie van een frequentie-gecorrigeerde generator-score ($s_{Adj}$):
$$s_{Adj}(y | x) = \log p_G(y | x) - \log p_G'(y | x)$$
Waar:

• $p_G(y | x)$ de standaard generatie-waarschijnlijkheid is.
• $p_G'(y | x)$ de waarschijnlijkheid is van het genereren van $y$ wanneer expliciet wordt gevraagd om een onjuist antwoord te geven (of een "anti-expert" prompt).

In de praktijk, aangezien $p_G'$ moeilijk betrouwbaar op te roepen is, stellen de auteurs twee empirische benaderingen voor:

1. NegFC: Gebruikt een negatieve prompt om $p_G'$ op te roepen.
2. Unconditional FC (PMI): Gebruikt de onvoorwaardelijke log-waarschijnlijkheid van de token-sequentie als een goedkopere proxy voor frequentie, uitgaande van de veronderstelling dat de frequentie van een string onafhankelijk is van de correctheid ervan.

2. Trainingsdoelstelling

FLORA maakt gebruik van een pairwise preference loss om de generator af te stemmen op de ranking van reacties door de validator. De totale verliesfunctie combineert:

• Preference Loss ($L_{pref}$): Een logistische loss die de generator aanmoedigt om een door de validator geprefereerde reactie ($y^+$) hoger te rangschikken dan een minder geprefereerde reactie ($y^-$) op basis van de frequentie-gecorrigeerde score $s_{Adj}$.
• Negative Log-Likelihood (NLL) Termen: Standaard supervised termen toegepast op gelabelde voorbeelden om te waarborgen dat de generator correctheid behoudt en de validator gekalibreerd blijft.

De trainingsdata bestaat uit paren reacties $(y_i, y_j)$ voor dezelfde prompt $x$, waarbij de scores van de validator significant verschillen. De methode werkt in een semi-supervised setting, waarbij gebruik wordt gemaakt van gelabelde paren waar de grondwaarheid van de correctheid bekend is en ongelabelde paren waar alleen de relatieve voorkeur van de validator wordt gebruikt.

Belangrijkste Bijdragen

1. Geprincipeerde G-V Consistentie: Het artikel axiomatiseert G-V consistentie op basis van een rationeel agent-model, en toont aan dat naïeve correlatie onvoldoende is vanwege frequentie-effecten.
2. Frequentiecorrectie: De afleiding van een theoretische relatie die noodzakelijk maakt dat de standaard generator-score wordt gecorrigeerd door de "onjuiste" generatie-waarschijnlijkheid (of een frequentie-proxy) af te treken om echte consistentie te bereiken.
3. FLORA Algoritme: Een concrete trainingsdoelstelling die deze frequentie-gecorrigeerde alignment implementeert, wat de discriminatiekracht van de generator verbetert zonder de prestaties van de validator te verslechteren.

Experimentele Resultaten

De auteurs evalueerden FLORA op drie taken: Instruction Following (IFEval), Coding (HumanEval) en Taxonomic Knowledge (Hyponymy).

• Prestatiewinst: FLORA presteert aanzienlijk beter dan eerdere alignment-methoden (inclusief SFT, Consistency FT en RankAlign).
  • Generator-Validator Correlatie ($\rho$): Behaalde winsten van tot wel +27 procentpunten (bijv. op IFEval en HumanEval) vergeleken met de sterkste eerdere baselines.
  • Generator Discriminatiekracht (AUROC): Verbeterde de generator AUROC met tot wel +7,3 procentpunten.
• Effectiviteit van Frequentiecorrectie: Zelfs tijdens de testfase (zonder training) zorgde het toepassen van frequentiecorrectie (NegFC of PMI) voor een significante verbetering van het vermogen van de ruwe generator om correcte van incorrecte antwoorden te onderscheiden en verhoogde het de correlatie met de validator.
• Preservering van de Validator: Cruciaal is dat de FLORA-training de kwaliteit van de validator niet heeft verslechterd. In verschillende settings verbeterde de nauwkeurigheid en AUROC van de validator zelfs (bijv. +14 tot +17 pp op HumanEval), wat de zorgen weerlegt dat preference training kan leiden tot "likelihood displacement" waarbij het model alleen gealigneerd lijkt omdat de validator is verslechterd.
• Kwalitatieve Alignment: Visuele analyse toonde aan dat FLORA-training resulteerde in een veel duidelijkere, gestructureerde relatie tussen generator-scores en validator log-odds, waardoor correcte van incorrecte completions effectief werden gescheiden in de staart van de distributie.

Betekenis en Claims

Het artikel claimt dat FLORA een geprincipeerde oplossing biedt voor de G-V kloof door de kernoorzaak van inconsistentie aan te pakken: de vermenging van reactiefrequentie met de correctheid van de reactie.

• Theoretische Rigor: In tegenstelling tot eerdere heuristische benaderingen is FLORA geworteld in een theoretische afleiding van hoe de generator- en validator-waarschijnlijkheden van een rationele agent zich tot elkaar zouden moeten verhouden.
• Robuustheid: De methode werkt over diverse taken (kort- en langvorm generatie) en modelfamilies (Gemma, Qwen).
• Praktisch Nut: Door de generator te verbeteren in het hoger rangschikken van correcte reacties (zelfs zeldzame), terwijl de oordeelsvorming van de validator behouden blijft, maakt FLORA meer betrouwbare zelfcorrectie- en verfijningspipelines voor LLM's mogelijk.

De auteurs blijven bescheiden over beperkingen en merken op dat de theoretische term $r(y,x)$ wordt verondersteld dicht bij 1 te liggen (een aanname die moeilijk direct te valideren is) en dat het huidige framework zich richt op binaire correctheid in plaats van gedeeltelijke correctheid. Bovendien richt de evaluatie zich op vaste sets outputs (staarten van de distributie) in plaats van de enkelvoudige beste greedy decoding output.