Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

Titel: Rubrics als Aanvalsvlak: Stille Voorkeursdrift in LLM-Rechters

1. Probleemstelling

Moderne Large Language Models (LLM's) worden vaak afgestemd (aligned) via Reinforcement Learning from Human Feedback (RLHF) of varianten zoals RLAIF. Omdat menselijke annotatie duur is, vertrouwen veel pipelines op LLM-based judges (automatische rechters) die voorkeurslabels genereren op basis van natuurtaalspecificaties (rubrics).

De auteurs identificeren een tot nu toe onderbelichte kwetsbaarheid in deze workflow: Rubric-Induced Preference Drift (RIPD).

• Het kernprobleem: Zelfs wanneer wijzigingen in een rubric (de evaluatiecriteria) succesvol worden gevalideerd op een benchmark-dataset (d.w.z. ze behouden of verbeteren de prestaties op de testset), kunnen ze leiden tot systematische en gerichte verschuivingen in de voorkeuren van de rechter op andere (doel-)domeinen.
• De valkuil: Omdat rubrics fungeren als een hoog-niveau beslissingsinterface, kunnen schijnbaar natuurlijke en criteria-bewarende bewerkingen de prioriteiten van de rechter subtiel veranderen. Dit blijft onopgemerkt door geaggregeerde benchmark-metrics of beperkte steekproeven, omdat de rechter op de benchmark nog steeds "goed" presteert, maar op de doel-domeinen systematisch fouten maakt.
• Gevolg: Deze drift kan worden uitgebuit via rubric-based preference attacks. Als deze bevooroordeelde labels worden gebruikt voor downstream post-training (bijv. DPO), wordt de bias geïnternaliseerd in het getrainde beleid, wat leidt tot persistente en systematische afwijkingen in het gedrag van het model.

2. Methodologie

Bedreigingsmodel:
De aanval vindt plaats binnen een realistisch scenario waarbij een adversary (een rubric-ontwerper) alleen toegang heeft tot de natuurlijke taal-rubric. De adversary heeft geen toegang tot de modelparameters, gradients of de input-data. Ze kunnen alleen de tekst van de rubric bewerken.

Aanvalsstrategie: Biased Rubric Search
De auteurs presenteren een aanvalsmethode die gebruikmaakt van een evolutionaire zoekstrategie om een gewijzigde rubric ($R'$) te vinden die voldoet aan twee voorwaarden:

1. Benchmark-behoud: De nieuwe rubric behoudt de prestaties op de benchmark-dataset ($D_{bench}$) binnen een bepaalde tolerantie ($\epsilon$).
2. Doel-domein degradatie: De nieuwe rubric induceert een maximale systematische drift in de voorkeuren op de doel-dataset ($D_{target}$), waardoor de overeenkomst met een menselijke referentie afneemt.

Het algoritme (Algorithm 1) werkt als volgt:

• Populatie-gebaseerde zoektocht: Het start met een pool van rubrics en evolueert deze over meerdere rondes.
• Asymmetrische verfijning: Het systeem gebruikt twee signalen:
  • Benchmark-fouten: Worden gecorrigeerd om de prestaties op de benchmark te behouden.
  • Doel-domein "fouten": Voorbeelden waar de rechter correct was volgens de menselijke referentie, worden kunstmatig gemarkeerd als fouten om de rubric te sturen in de tegenovergestelde richting. Hierdoor wordt de rubric geoptimaliseerd om juist de juiste antwoorden op de doel-domeinen af te keuren.
• Selectie: Er wordt een rubric geselecteerd die de grootste drift induceert op de doel-domeinen, terwijl de benchmark-voorwaarden worden gehaald.

Propagatie door Alignmentspipelines:
De auteurs testen of deze drift zich voortplant naar het getrainde beleid. Ze genereren voorkeurslabels met de "vergiftigde" rubric en trainen daarop een beleid (via DPO). Vervolgens evalueren ze of dit beleid systematisch afwijkt van het beleid dat is getraind op de originele rubric.

3. Belangrijkste Resultaten

De experimenten werden uitgevoerd op diverse datasets voor helpfulness (nuttigheid) en harmlessness (schadeloosheid), met verschillende judge-modellen (Qwen3-14B, Gemma-3-27B, DeepSeek-V3).

• Systematische Drift (RQ1): De aanval slaagt erin om rubrics te creëren die benchmark-compliant zijn, maar de nauwkeurigheid op doel-domeinen drastisch verlagen.

  • Tot 9,5% daling in nauwkeurigheid voor helpfulness.
  • Tot 27,9% daling in nauwkeurigheid voor harmlessness.
  • De benchmark-accuraatheid bleef vaak gelijk of verbeterde zelfs, terwijl de doel-accuraatheid instortte.

• Oorzaak van Drift (RQ2): De drift is niet het gevolg van slecht geformuleerde rubrics.

  • In blind pairwise tests (waarbij een onafhankelijke LLM de rubrics beoordeelt) werden de aangevallen rubrics vaak als beter of gelijkwaardig beoordeeld dan de originele "seed" rubrics.
  • Dit bewijst dat de drift komt door een subtiele herschikking van prioriteiten binnen de criteria, niet door een verlies van kwaliteit.

• Propagatie naar Beleid (RQ3): De drift plant zich voort in het getrainde model.

  • Beleid getraind op de bevooroordeelde labels ($\pi_{bias}$) presteerde significant slechter dan beleid getraind op de originele labels ($\pi_{seed}$), zelfs wanneer het beleid werd getraind op een mengsel van benchmark- en doel-data.
  • In sommige gevallen was het bevooroordeelde beleid zelfs slechter dan het originele basismodel, wat aantoont dat de drift leidt tot actieve degradatie in plaats van alleen het ontbreken van verbetering.

• Cross-Model Generalisatie: Rubrics die zijn geoptimaliseerd voor één judge-model (bijv. Qwen) veroorzaakten vergelijkbare drift in andere modellen (Gemma, DeepSeek), wat aangeeft dat de kwetsbaarheid inherent is aan de rubric-structuur en niet model-specifiek.

4. Bijdragen

1. Identificatie van RIPD: De paper introduceert het concept van Rubric-Induced Preference Drift als een latente kwetsbaarheid in LLM-judge pipelines. Het toont aan dat benchmark-validatie onvoldoende is om stabiliteit op onzichtbare domeinen te garanderen.
2. Demonstratie van Aanval: Het bewijst dat een adversary, zonder toegang tot modelinterne details, systematische drift kan induceren door alleen natuurlijke taal-rubrics te bewerken.
3. Propagatie-analyse: Het toont aan dat deze evaluatie-bias niet beperkt blijft tot de evaluatiestap, maar zich doorzet naar het getrainde beleid via alignment pipelines, wat leidt tot permanente gedragsafwijkingen.
4. Systeemrisico: Het benadrukt dat rubrics geen passieve specificaties zijn, maar actieve controle-interfaces die de uitkomst van alignment fundamenteel beïnvloeden.

5. Betekenis en Conclusie

De bevindingen van dit paper hebben grote implicaties voor de veiligheid en betrouwbaarheid van LLM-systemen:

• Kwetsbaarheid van Validatie: Het huidige paradigma waarbij rubrics worden gevalideerd op een vaste benchmark is kwetsbaar voor "benchmark hacking" via natuurlijke taal. Een hoge score op een benchmark garandeert geen veilig gedrag op nieuwe of specifieke domeinen.
• Systeemniveau Risico: Het risico ligt niet alleen bij de betrouwbaarheid van de judge, maar bij de hele alignment-pipeline. Een kleine, schijnbaar onschuldige wijziging in de evaluatiecriteria kan leiden tot een volledig misaligneerd model.
• Aanbeveling: Toekomstig werk moet rubric-refinement en -validatie behandelen als expliciete, kritieke componenten van de alignment-pipeline. Er zijn nieuwe methoden nodig om te detecteren of rubrics systematische drift induceren op domeinen buiten de benchmark, en om te voorkomen dat evaluatie-criteria als aanvalsvlak worden gebruikt.

Kortom, de paper waarschuwt dat rubrics een gevoelig en manipuleerbaar aanvalsvlak zijn dat de integriteit van hele AI-afstemmingssystemen kan ondermijnen, zelfs als de evaluatie-indicatoren op het eerste gezicht gezond lijken.