Technische Samenvatting: Geometrische Verankering voor Robuuste Voorkeursuitlijning (GAPO)

1. Probleemstelling

De uitlijning van Large Language Models (LLM) via voorkeursoptimalisatie (bijv. DPO, SimPO) berust doorgaans op het maximaliseren van de marge tussen geprefereerde ($y_w$) en niet-geprefereerde ($y_l$) antwoorden. Hoewel effectief, behandelen standaard marge-gebaseerde verliezen alle voorkeursparen gelijk op basis van hun huidige marge-grootte. Deze aanpak faalt in het onderscheid maken tussen:

1. Informatieve moeilijke voorbeelden: Paren met lage marges die werkelijk leren vereisen.
2. Kwetsbare paren: Paren met lage marges veroorzaakt door ruis in labels, lengte-bias of schijnbare correlaties.

Huidige methoden produceren vaak grote updates voor beide typen, wat kan leiden tot overfitting op gecorrumpeerde supervisie of het veroorzaken van "reward drift". Het kernprobleem is het ontbreken van een lokale diagnose om te testen of een voorkeurssignaal stabiel genoeg is om vertrouwd te worden met een sterke update voordat deze wordt toegepast.

2. Methodologie: Geometrische Anker Voorkeursoptimalisatie (GAPO)

GAPO introduceert een geometrie-bewust doelwit dat een batch-geconditioneerde lokale stress-test uitvoert voor elk voorkeurspaar. In plaats van paren uitsluitend te beoordelen op basis van hun huidige marge, evalueert GAPO hun stabiliteit onder een gedeelde pessimistische verstoring.

2.1 Het Geometrische Anker

Voor elke mini-batch $B$ construeert GAPO een "pessimistisch anker" $\tilde{\theta}$ door de huidige policy $\theta$ te verstoren in de richting die de batch-gemiddelde voorkeursmarge het snelst verlaagt.

• Laat $M_i(\theta)$ de voorkeursmarge zijn voor instantie $i$.
• De batch-gemiddelde marge is $\bar{M}_B(\theta) = \frac{1}{|B|} \sum_{j \in B} M_j(\theta)$.
• De verstoringsrichting is de genormaliseerde negatieve gradiënt van de batch-gemiddelde marge:
  $$\epsilon^*_B = -\rho \frac{\nabla_\theta \bar{M}_B(\theta)}{\|\nabla_\theta \bar{M}_B(\theta)\|_2}$$
• Het anker wordt gedefinieerd als $\tilde{\theta} = \theta + \epsilon^*_B$, waarbij $\rho$ een kleine verstoringsstraal is. Cruciaal is dat $\tilde{\theta}$ wordt behandeld als een bevroren referentie (stop-gradient) voor de daaropvolgende verliesberekening.

2.2 De Anker-Gap

GAPO definieert de Anker-Gap ($\Gamma_i$) als de degradatie van de marge van een specifiek paar onder deze gedeelde adversariële verstoring:
$$\Gamma_i(\theta) = M_i(\theta) - \text{sg}(M_i(\tilde{\theta}))$$
waarbij $\text{sg}(\cdot)$ de stop-gradient operator aanduidt.

• Grote $\Gamma_i$: Duidt erop dat de marge van het paar instort onder de batch-geconditioneerde stress-test, wat lokale kwetsbaarheid signaleert (waarschijnlijk ruis of schijnbare correlatie).
• Kleine $\Gamma_i$: Duidt erop dat het paar stabiel blijft, wat wijst op een robuust voorkeurssignaal.

2.3 Doelfunctie en Herweging

Het GAPO-doelwit is een logistisch verlies op de Anker-Gap:
$$\mathcal{L}_{\text{GAPO}}(\theta) = -\frac{1}{N} \sum_{i=1}^N \log \sigma(\beta \Gamma_i(\theta) - \gamma)$$
waarbij $\gamma$ een doelmarge is.

Optimalisatie-interpretatie:
Het differentiëren van dit verlies onthult dat GAPO de standaard voorkeurs-gradiëntrichting ($\nabla_\theta M_i(\theta)$) behoudt, maar deze schaalt met een gewicht per instantie $w_i(\theta)$:
$$\nabla_\theta \mathcal{L}_{\text{GAPO}} = -\mathbb{E} [ w_i(\theta) \cdot \nabla_\theta M_i(\theta) ]$$
waarbij $w_i(\theta) = \beta \sigma(\gamma - \beta \Gamma_i(\theta))$.

• Paren met grote Anker-Gaps (kwetsbaar) ontvangen kleinere gewichten.
• Paren met kleine Anker-Gaps (stabiel) behouden grotere gewichten.

GAPO filtert geen data en modelleert ruis niet expliciet; het fungeert als een risicobewust herweegingsmechanisme dat kwetsbare gradiënten dempt terwijl de richting van robuuste gradiënten behouden blijft.

3. Theoretische Analyse

Het artikel biedt een lokale theoretische karakterisering van de Anker-Gap onder gladheidsaannames. De Anker-Gap decomposeert in drie componenten:

1. Gradiëntgrootte: De norm van de gradiënt van de instantie.
2. Batch-richtingsalignatie: De alignatie tussen de gradiënt van de instantie en de gedeelde batch-gemiddelde gradiëntrichting ($\alpha_{i,B}$).
3. Richtingskromming: De tweede-orde kromming van de marge van de instantie langs de batch-richting.

Deze decompositie bewijst dat GAPO niet herleidbaar is tot eenvoudige gradiënt-norm herweging. De term voor batch-richtingsalignatie zorgt ervoor dat de methode specifiek paren target die instabiel zijn ten opzichte van de optimalisatietraject van de huidige batch.

4. Experimentele Resultaten

GAPO werd geëvalueerd over vier open-gewicht modelfamilies (Mistral-7B, Llama-3-8B, Gemma-2-9B) op benchmarks voor instructievolging en redenering.

4.1 Uitlijning en Redeneringsprestaties

• Instructievolging: GAPO komt consistent overeen met of overtreft sterke baselines (DPO, SimPO, ORPO, $\alpha$-DPO) op AlpacaEval 2.0 en Arena-Hard. Bijvoorbeeld, op Mistral-7B behaalde GAPO een Win Rate van 38,7% op Arena-Hard, wat beter is dan SimPO (34,8%) en DPO (24,9%).
• Behoud van Redenering: In tegenstelling tot sommige voorkeursoptimalisatiemethoden die lijden aan een "alignment tax" (verslechterde redenering), behoudt of verbetert GAPO de redeneringsscores op GSM8k en ARC-C terwijl de uitlijning verbetert.

4.2 Robuustheid tegen Ruis in Supervisie

GAPO werd getest onder willekeurige label-flips en gestructureerde lengte-afhankelijke ruis (waarbij kortere antwoorden onterecht geprefereerd worden).

• Prestaties: GAPO overtrof toegewijde ruis-robuste baselines (bijv. Dr. DPO, r-DPO) over verschillende ruispercentages zonder de ruisverdeling expliciet te modelleren.
• Mechanisme: In gecontroleerde ruisomgevingen ontwikkelden paren met omgekeerde labels aanzienlijk grotere Anker-Gaps en werden zwaarder down-ge-weighted. Tegen het einde van de eerste epoch kregen omgekeerde paren ongeveer 16,9% kleinere gewichten dan schone paren. De onderste 20% van de gewichten (meest gedempt) bevatte een flip-ratio van 30,1%, vergeleken met 16,9% in de bovenste 20%.

4.3 Ablatiestudies

• Gradiëntnorm versus Anker-Gap: Een baseline die uitsluitend gradiënt-norm herweging gebruikte (GradNorm-Reweight) verbeterde ten opzichte van SimPO, maar slaagde er niet in GAPO te evenaren, wat bevestigt dat batch-richtingsalignatie en kromming essentiële componenten zijn.
• SAM-vergelijking: Het vergelijken van GAPO met SimPO met Sharpness-Aware Minimization (SAM) toonde aan dat GAPO's herweging per instantie superieure uitlijning-redenering trade-offs biedt in vergelijking met uniforme flatness-zoektocht op optimalisator-niveau.
• Berekeningskosten: GAPO veroorzaakt ongeveer een 2x overhead in wandkloktijd per stap door de berekening van de anker-gradiënt. Een vergelijking op wandkloktijd toonde echter aan dat één epoch GAPO twee epochs SimPO overtrof, wat aangeeft dat de winst niet louter te wijten is aan verlengde trainingstijd.

5. Betekenis en Claims

Het artikel beweert dat lokale geometrische degradatie dient als een nuttig signaal voor stabiele voorkeursoptimalisatie, en een middenweg biedt tussen verankering met een vaste referentie en expliciete ruismodellerings.

Belangrijke bijdragen zijn:

1. GAPO Framework: Een nieuwe methode die een batch-geconditioneerd pessimistisch anker construeert om lokale marge-degradatie te meten.
2. Theoretische Karakterisering: Een bewijs dat de Anker-Gap fungeert als een batch-richtingsproef voor instabiliteit, die decomposeert in gradiëntgrootte, alignatie en kromming.
3. Empirische Robuustheid: Bewijs dat GAPO de robuustheid tegen zowel willekeurige als gestructureerde voorkeursruis verbetert door kwetsbare signalen conservatief te dempen, zonder gecorrumpeerde data expliciet te hoeven identificeren of filteren.

De auteurs benadrukken dat GAPO een herweegingsmechanisme is, geen data-filter. Het modereert continu de updatekracht op basis van lokale stabiliteit, waardoor het model kan leren van moeilijke maar stabiele voorbeelden terwijl updates die worden gedreven door ruis of schijnbare correlaties worden onderdrukt.