Technische Samenvatting: Judge Circuits

Probleemstelling

Het "LLM-as-a-Judge" (LaaJ)-paradigma is de standaard geworden voor het schalen van model-evaluatie, maar lijdt aan een kritiek betrouwbaarheidsprobleem: modellen toewijzen systematisch verschillende scores aan dezelfde input, afhankelijk van het outputformaat (bijvoorbeeld een 1–5-rating versus een True/False-classificatie). Eerdere studies hebben deze inconsistentie gedocumenteerd, maar zijn stilstaan op het niveau van input-output, zonder de interne computationele mechanismen te verklaren. De centrale vraag die dit artikel adresseert, is niet of modellen consistent oordelen, maar waar in het computationele pad de door outputformaat veroorzaakte inconsistentie ontstaat.

Methodologie

De auteurs maken gebruik van Position-aware Edge Attribution Patching (PEAP) om causaal de interne mechanismen van judge-circuits in Gemma-3, Qwen2.5 en Llama-3-modellen te onderzoeken. Hun aanpak omvat:

1. Circuit Discovery: Het gebruik van PEAP om causale randen te traceren over token-posities (essentieel voor taken die gescheiden spannen vergelijken, zoals premisse versus hypothese) van differentiële input-tokens (schone versus corrupte prompts) naar de output.
2. Contrastive Decomposition: Het traceren van twee circuits voor dezelfde data-instanties: één voor een rating-taak ($C_{rate}$) en één voor een classificatie-controletaak ($C_{class}$). De doorsnede van deze circuits ($C_{LE} = C_{rate} \cap C_{class}$) definieert de Latent Evaluator (LE), terwijl de verschillen de Task Formatters (TF) definiëren.
3. Causal Probes: Het valideren van de ontdekte circuits via drie onafhankelijke methoden:
   • Zero-Ablation: Het vastzetten van LE-componenten op nul om te testen of wereldkennis behouden blijft terwijl het oordeel instort.
   • Subspace Steering: Het identificeren van een 1D-oordeelsrichting in de LE-activatieruimte en het sturen daarvan om outputveranderingen waar te nemen.
   • Format Transfer Injection (FTI): Het vastleggen van LE-activaties uit een rating-prompt en het injecteren daarvan in het grafiek van een classificatie-prompt om te zien of de output-token verandert.

Belangrijkste Bijdragen en Resultaten

1. Ontdekking van een Gedeelde Latent Evaluator

De studie identificeert een spaarzaam, gegeneraliseerd Latent Evaluator (LE)-subgrafiek gelegen in de midden- tot late Multi-Layer Perceptrons (MLP's) en selecte late attention-heads.

• Cross-Task Overlap: Verschillende oordeelstaken (gestructureerde linguïstische correctheid, voorkeur en sentiment) delen een dichte computationele stam. Bijvoorbeeld, op Qwen2.5-7B varieert de Edge IoU tussen taken van 34,9% tot 47,0%.
• Faithfulness: Deze spaarzame circuits (top-$k \le 200$ randen) zijn causaal voldoende en herstellen $\ge 87\%$ van het evaluatiegedrag van het model in 21 van de 25 model-taakconfiguraties.

2. Architectuur-afhankelijke Modulariteit

De functionele isolatie van de LE is geen universeel gevolg van schaal, maar hangt af van de modelarchitectuur:

• Modulaire Modellen: In Qwen2.5-7B, Qwen2.5-14B, Llama-3.1-8B en Gemma-3-27B stort de oordeelsprestatie in bij zero-ablatie van de LE, terwijl wereldkennis (MMLU, StrategyQA) intact blijft.
• Verstrengelde Modellen: In Gemma-3-12B is de LE strak verstrengeld met paden voor wereldkennis; het ableren ervan degradeert zowel oordeel als feitelijke recall. Dit geeft aan dat modulariteit een architecturale eigenschap is, niet louter een functie van het aantal parameters.

3. Mechanisme van Door Formaat Veroorzaakte Inconsistentie

Het artikel biedt een mechanistische verantwoording van waarom formatwijzigingen inconsistentie veroorzaken:

• De Split: Oordeel wordt berekend door een stabiel, continu signaal in de gedeelde LE-stam. Dit signaal wordt vervolgens gemapt naar specifieke output-tokens door fragiele, formatspecifieke terminale takken (Task Formatters).
• De Bottleneck: Inconsistentie ontstaat niet in de evaluatie zelf, maar in de routing. De LE berekent een stabiele 1D-oordeelsrichting, maar de "attractor-geometrie" van de Task Formatter (hoe deze scalair mapt naar discrete tokens) varieert per formaat en model.
  • Binair/Ordinaal Formaten: In formaten met duidelijke attractors (bijvoorbeeld binair Ja/Nee of 1–5-schalen) wordt het LE-signaal succesvol gedecodeerd.
  • Multi-Attractor Formaten: In taken zoals MNLI (Entailment/Neutral/Contradiction) verspreidt de formatter de waarschijnlijkheidsmassa over drie concurrerende tokens. Het injecteren van een 1D-oordeelsignaal faalt vaak om de output te veranderen omdat het signaal fragmenteert over de drie attractors, waardoor een enkele label de argmax niet bereikt.
• FTI-bewijs: Algemene activatie-injectie vanuit een rating-prompt in een classificatie-prompt verandert de output-token in modulaire modellen (bijvoorbeeld Qwen2.5-7B verandert $\ge 99\%$ van de gevallen), maar faalt in modellen waar de formatter geometrisch geïsoleerd is (bijvoorbeeld Gemma-3-27B op MNLI).

4. Praktische Implicaties voor Evaluatie

De auteurs demonstreren dat de 1D-causale richting van de LE kan dienen als een zero-shot judgment scalar.

• Op kleine-$N$ voorkeursdata (waar geprompte outputs slecht gekalibreerd zijn en gesuperviseerde probes overfitten), komt dit latente signaal overeen met of overtreft het gesuperviseerde residual probes.
• Echter, op taken waar de geprompte vocabulaire schaal-gealigneerd is met menselijke labels (bijvoorbeeld Yelp 1–5 sterren), blijven probabiliteits-gewogen verwachte waarden een sterke baseline die de latente richting niet overtreft.

Betekenis en Claims

Het artikel herformuleert het debat over LaaJ-betrouwbaarheid. Het stelt dat gedragsinconsistentie onder formatperturbaties de verwachte signatuur is van een stabiel intern oordeel dat wordt gerouteerd via een fragiele terminale mapping, en niet een falen van de onderliggende evaluatiecapaciteit.

• Diagnostische Shift: De diagnostische vraag verschuift van "Oordeelt het model consistent?" naar "Behoudt de formatter voor deze outputspecificatie het onderliggende oordeel?".
• Benchmark Interpretatie: Vergelijkingen van betrouwbaarheid op benchmark-niveau tussen formaten meten gedeeltelijk formatter-geometrie in plaats van evaluatiekwaliteit.
• Architecturale Inzicht: De bevindingen challenge de aanname dat schone interne abstracties generiek ontstaan met schaal; in plaats daarvan spelen architecturale keuzes (trainingsdata, attention-spaarzaamheid, normalisatie) een dragende rol in het bepalen of een model functionele modulariteit vertoont.

De auteurs concluderen dat oplossingen voor LaaJ-inconsistentie de formatter (het routingmechanisme) moeten targeten zonder de kernoordeelscompetentie van het model te verstoren, en dat extractie van latente subruimtes een haalbaar alternatief is voor geprompte outputs, met name in regimes waar discrete outputs slecht gekalibreerd zijn.