DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding

Dit paper introduceert DARC, een retraining-vrije inferentiemethode die door middel van risicogebaseerde decodering en verdelingsrobuustheid de gevolgen van menselijke meningsverschillen vermindert en de stabiliteit van gealigneerde taalmodellen verbetert zonder de gemiddelde kwaliteit te verlagen.

De kern

Stel je voor dat je een zeer slimme, maar soms verwarde assistent hebt die voor je schrijft. Je vraagt hem om een verhaal te vertellen, en hij genereert tien verschillende versies. Nu moet jij kiezen: welke versie is de beste?

In de wereld van kunstmatige intelligentie (AI) doen we dit vaak door te kijken naar wat de "meeste mensen" leuk vinden. We nemen de gemiddelde mening van een groep beoordelaars en kiezen het verhaal dat die gemiddelde score het hoogst heeft.

Het probleem? Mensen zijn niet allemaal hetzelfde.

Soms vinden mensen het ene verhaal grappig, terwijl anderen het belachelijk vinden. Soms vinden sommigen het te formeel, terwijl anderen het juist te informeel vinden. Als je alleen kijkt naar het gemiddelde, kun je een verhaal kiezen dat voor niemand echt goed is, maar wel netjes in het midden ligt. Of erger: je kiest een verhaal dat voor de meerderheid prima is, maar voor een specifieke groep mensen echt slecht of zelfs beledigend is. Dit noemen de auteurs "risico" of "onzekerheid".

Deze paper introduceert een nieuwe methode, genaamd DARC, om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gemiddelde" Valstrik

Stel je voor dat je een restaurantkeuze moet maken voor een grote groep vrienden.

• De oude manier (RLHF/DPO): Je vraagt aan iedereen wat ze lekker vinden, telt alles bij elkaar op en kiest het gerecht met de hoogste totale score.
  • Het gevaar: Misschien kiest iedereen voor pizza, maar een paar mensen zijn allergisch voor kaas. De pizza wint, maar voor die paar mensen is het een ramp. Of misschien is er een gerecht dat 50% van de mensen geweldig vindt en 50% haat. De gemiddelde score is hoog, maar het is een gok.
• Het resultaat: De AI kiest vaak antwoorden die "veilig" zijn voor de massa, maar die voor specifieke mensen teleurstellend of zelfs schadelijk kunnen zijn.

2. De Oplossing: DARC (De "Voorzichtige Chef")

DARC is als een nieuwe, slimme chef-kok die niet alleen kijkt naar de gemiddelde score, maar ook naar hoe verdeeld de meningen zijn.

Stel je voor dat de chef twee opties heeft:

• Optie A: Iedereen vindt het eten "voldoende" (een 6). Niemand is er dol op, maar niemand is er ook boos over. De meningen zijn heel gelijk.
• Optie B: De helft van de mensen vindt het "heerlijk" (een 10), de andere helft vindt het "afschuwelijk" (een 2). De gemiddelde score is ook een 6.

Een oude AI zou misschien Optie B kiezen omdat de "pieken" (de 10-en) zo hoog zijn. Maar DARC zegt: "Wacht even, Optie B is een gok. Er is een groot risico dat de gasten die een 2 krijgen, echt boos worden."

DARC kiest daarom liever Optie A. Het is misschien niet het allerbeste gerecht voor de liefhebbers, maar het is veilig en iedereen is er tevreden mee.

3. Hoe werkt DARC precies? (De "Risico-Budget")

DARC gebruikt een slimme truc die ze "Risico-beperkte Decoding" noemen.

• Het Risico-Meter: DARC kijkt niet alleen naar de score, maar ook naar de "trilling" of "onzekerheid" rondom die score. Als de meningen van de beoordelaars heel erg uit elkaar liggen (hoge onenigheid), ziet DARC dat als een risico.
• De Budget: Stel je voor dat je een budget hebt voor risico. DARC zegt: "Ik mag een antwoord kiezen dat iets minder perfect is voor de gemiddelde mens, zolang het maar niet te gevaarlijk is voor de mensen die het misschien niet leuk vinden."
• De Strijdbare Kandidaten: Soms heeft de AI een antwoord dat heel goed is voor de meeste mensen, maar heel slecht voor een kleine groep. DARC ziet dit als een "strijdbare" kandidaat en zegt: "Nee, te riskant." Het kiest in plaats daarvan een antwoord dat iets minder opvallend is, maar waar iedereen het mee eens is.

4. Waarom is dit belangrijk?

In de echte wereld willen we dat AI niet alleen slim is, maar ook betrouwbaar.

• Als een AI een politiek vraagstuk beantwoordt, wil je niet dat hij een antwoord geeft dat de ene helft van de bevolking inspireert en de andere helft boos maakt. Je wilt een antwoord dat neutraal en correct is voor iedereen.
• Als een AI een juridisch advies geeft, wil je niet dat hij een antwoord kiest dat voor de meeste mensen goed lijkt, maar voor een specifieke groep mensen gevaarlijk is.

DARC zorgt ervoor dat de AI niet te gretig is om de hoogste score te halen, maar juist voorzichtig is om niemand teleur te stellen. Het is alsof je van een "winnaar-take-all" strategie overschakelt naar een "iedereen is tevreden" strategie.

Samenvatting in één zin

DARC is een slimme filter die ervoor zorgt dat een AI niet kiest voor het antwoord dat de meeste mensen leuk vinden (maar waar anderen boos over zijn), maar kiest voor het antwoord dat de minste teleurstellingen veroorzaakt, zelfs als dat betekent dat het gemiddelde iets lager is. Het is de kunst van het kiezen van de "veiligste" en meest inclusieve optie.

Technische samenvatting

1. Het Probleem: Heterogeniteit en Risico in Preferrentie-Alignment

Bestaande methoden voor het afstemmen van grote taalmodellen (LLMs) op menselijke voorkeuren, zoals RLHF (Reinforcement Learning from Human Feedback) en DPO (Direct Preference Optimization), optimaliseren doorgaans een enkel scalaire doelstelling. Ze gaan er implicit van uit dat menselijke voorkeuren i.i.d. (onafhankelijk en identiek verdeeld) ruis zijn rondom één onderliggende "wahrheid" of nuttigheidswaarde.

In de praktijk is dit echter niet het geval:

• Heterogene voorkeuren: Annotatoren en gebruikersgroepen zijn het vaak systematisch oneens over wat een goede respons is.
• Brittleness: Het maximaliseren van de gemiddelde beloning (mean-reward) kan leiden tot kwetsbare outputs die goed scoren bij de gemiddelde annotator, maar slecht presteren voor specifieke groepen of in uitzonderlijke situaties.
• Proxy-overoptimalisatie: Modellen kunnen "haken" op imperfecte beloningsmodellen (reward proxies), waardoor de werkelijke kwaliteit daalt terwijl de proxy-score stijgt.
• Tail-risk: Bestaande inferentiemethoden (zoals Best-of-K) neigen naar extreme keuzes die de variabiliteit (disagreement) maximaliseren, wat leidt tot onvoorspelbare en soms schadelijke resultaten.

Er ontbreekt een principieel kader voor inferentie-tijd selectie dat expliciet rekening houdt met deze onzekerheid en meningsverschillen zonder het model opnieuw te hoeven trainen.

2. Methodologie: DARC (Disagreement-Aware Alignment via Risk-Constrained Decoding)

DARC is een retraining-vrije methode die werkt op het moment van inferentie (inference-time). Het behandelt responsselectie als een risicogebonden beslissingsprobleem onder heterogene voorkeuren.

Kernconcepten:

1. Risico als Meningsverschil: DARC definieert risico niet als modelonzekerheid (zoals bij MC-Dropout), maar als de disagreement (meningsverschil) tussen annotatoren of tussen verschillende beloningsmodellen (scorers).
2. KL-Robust (Entropische) Waarde: In plaats van het gemiddelde te maximaliseren, maximaliseert DARC een entropische waarde ($V_\beta$), gedefinieerd als:
   $$V_\beta(s, y) := -\frac{1}{\beta} \log \mathbb{E}[\exp(-\beta R(s, y))]$$
   Dit is equivalent aan het maximaliseren van de ergste-case verwachte tevredenheid binnen een lokale divergentie-omgeving (KL-divergentie). De parameter $\beta$ regelt de mate van risicomijdendheid.
3. Risicobeperking via Premie: DARC introduceert een entrische risicopremie ($RP_\beta$), het verschil tussen het gemiddelde en de entropische waarde. De methode selecteert een respons die de entropische waarde maximaliseert, maar onderworpen is aan een budget ($\tau$) of een straf ($\lambda$) voor deze premie:
   • Gedwongen: Maximaliseer $V_\beta$ onder de voorwaarde $RP_\beta \leq \tau$.
   • Gestrafd: Maximaliseer $V_\beta - \lambda RP_\beta$.
4. Statistische Justificatie (LCB & DRO):
   • De methode wordt theoretisch onderbouwd door Lower Confidence Bounds (LCB). Het maximaliseren van een LCB op de verwachte tevredenheid is equivalent aan het straffen van de standaardafwijking (disagreement) in een eindige steekproef.
   • Het wordt ook geïnterpreteerd als Distributionally Robust Optimization (DRO), waarbij de decoder de ergste-case verwachte tevredenheid maximaliseert over een verzameling van mogelijke verdelingen rondom de empirische data.
5. Multi-Scorer Robuustheid: Om bias in één beloningsmodel te voorkomen, kan DARC een familie van scorers gebruiken. Het aggregeert deze via een "soft worst-case" operator, wat zorgt voor robustheid tegen verschuivingen in de scorers zelf.
6. Proxy voor Disagreement: Waar echte menselijke ratings schaars zijn, gebruikt DARC stijlbehoudende perturbaties (herschrijvingen van de respons) om de variabiliteit in scores van een beloningsmodel te schatten. Deze variabiliteit fungeert als een schaalbare proxy voor menselijke meningsverschillen.

3. Belangrijkste Bijdragen

• Methodologisch: Formulering van inferentie-tijd alignment als risicogebonden besluitvorming. DARC biedt een plug-in oplossing die werkt met bestaande generatoren en schattingen van voorkeuren, zonder retraining.
• Theoretisch: Een unificatie van LCB-gebaseerde pessimisme en KL-gebaseerde DRO. Het paper toont aan dat het straffen van dispersie (disagreement) een principieel risico-gevoelig criterium is, afgeleid van statistische garanties en robustiteitstheorie.
• Empirisch: DARC reduceert significant de "tail risk" (de kans op zeer slechte resultaten) en vermindert meningsverschillen, terwijl het gemiddelde niveau van tevredenheid behouden blijft of zelfs verbetert.

4. Resultaten

De methode is geëvalueerd op benchmarks zoals MT-Bench en AlpacaEval 2.0 met verschillende generatoren (o.a. Llama-3.1-8B en Qwen2.5).

• Vermindering van Disagreement: DARC-varianten (vooral DARC-ϵ en DARC-τ) verlagen de standaardafwijking van menselijke scores aanzienlijk, vooral bij prompts met van nature hoge meningsverschillen (high-disagreement subset).
• Verbeterde Tail-Robuustheid: Metingen zoals CVaR10% (Conditional Value at Risk voor de slechtste 10% van de prompts) tonen aan dat DARC veel consistenter goede resultaten levert dan de standaard "Best-of-K" methode.
• Trade-off: Er is een verbetering in de Tradeoff-score (gemiddelde score minus een straf voor variabiliteit), wat aangeeft dat DARC betere, betrouwbaardere antwoorden levert zonder de gemiddelde kwaliteit te offeren.
• Case Studies:
  • Bij politiek gevoelige vragen vermijdt DARC gepolariseerde, agressieve antwoorden en kiest voor een meer institutioneel, neutraal perspectief dat door meer annotatoren wordt gewaardeerd.
  • Bij hallucinaties of copyright-problemen selecteert DARC vaak een beknopt, feitelijk correct antwoord in plaats van een verbose, hallucinerende generatie die door Best-of-K zou worden gekozen.
• Efficiëntie: De extra inferentie-kost voor het schatten van disagreement (via perturbaties) is minimaal (ongeveer 1.5% - 3.2% extra latentie), aangezien de generatie van kandidaten de dominante factor blijft.

5. Betekenis en Impact

DARC biedt een cruciale stap voorbij de huidige "mean-reward" optimalisatie in LLM-alignment.

• Veiligheid en Betrouwbaarheid: Door expliciet rekening te houden met meningsverschillen, maakt DARC modellen robuuster tegen "reward hacking" en zorgt het voor meer voorspelbare output in controversiële situaties.
• Geen Re-training: Omdat het een inferentie-tijd methode is, kan het direct worden toegepast op bestaande modellen, wat het zeer schaalbaar maakt.
• Paradigmaverschuiving: Het paper legt de nadruk op het feit dat voorkeuren inherent pluralistisch zijn. In plaats van te proberen één "beste" score te vinden, accepteert DARC de onzekerheid en optimaliseert voor de ergste-case scenario's binnen een redelijke marge, wat essentieel is voor veilige AI-deployments in diverse gebruikersgroepen.

Kortom, DARC transformeert de selectie van antwoorden van een puur gemiddelde-optimalisatie naar een risicobewuste strategie die meningsverschillen gebruikt als een signaal om conservatievere, betrouwbaardere keuzes te maken.