Technisch Samenvatting: Het heroverwegen van LLM-als-Rechter: Representatie-als-Rechter met Kleine Taalmodellen via Semantische Capaciteitsasymmetrie

1. Probleemstelling

Het heersende paradigma voor referentievrije evaluatie van Large Language Models (LLMs) is "LLM-as-a-Judge" (LLM-als-rechter), waarbij krachtige modellen worden geprompt om de kwaliteit van gegenereerde outputs te beoordelen. Hoewel effectief, lijdt deze aanpak onder drie kritieke beperkingen:

1. Hoge Computationele Kosten: Het vereist autoregressieve decodering, wat duur is zelfs voor evaluaties op één enkel punt.
2. Ondoorzichtigheid: De afhankelijkheid van propriëtaire modellen (bijv. GPT-4) maakt interne mechanismen onverifieerbaar en oninterpreteerbaar.
3. Instabiliteit: De effectiviteit is sterk afhankelijk van prompt engineering, wat zorgen baart over reproduceerbaarheid en robuustheid.

Pogingen om deze problemen te verzachten door kleinere, open-source taalmodellen (SLMs) als rechters te gebruiken via directe prompting zijn grotendeels mislukt. SLMs produceren vaak slechte en inconsistente evaluatiescores vergeleken met hun grotere tegenhangers. Echter, eerder onderzoek suggereert dat SLMs een semantische competentie bezitten die vergelijkbaar is met grotere modellen, ondanks hun zwakkere generatieve vermogens. Deze discrepantie roept een fundamentele vraag op: Coderen kleine modellen evaluatie-relevante signalen in hun interne representaties, zelfs wanneer hun oppervlakte-generatie slecht is?

2. Kernhypothese: Semantische Capaciteitsasymmetrie

De auteurs stellen de Semantische Capaciteitsasymmetrie-hypothese voor, die stelt dat de semantische capaciteit die vereist is voor accurate evaluatie aanzienlijk lager is dan die vereist voor generatie.

• Generatie omvat discoursplanning, langetermijnafhankelijkheden en volledige decodering, wat een substantiële modelcapaciteit vereist.
• Evaluatie richt zich op het identificeren van inconsistenties, feitelijke fouten of logische gebreken, wat volgens de auteurs al toegankelijk is in de tussenliggende verborgen toestanden (hidden states) van een model, zelfs als het model deze niet in een coherente tekst kan articuleren.

Deze hypothese motiveert een paradigmaverschuiving van "LLM-as-a-Judge" naar "Representation-as-a-Judge" (Representatie-als-rechter), een decoding-vrije strategie die evaluatiesignalen direct extraheert uit latente representaties in plaats van te vertrouwen op geprompte tekstgeneratie.

3. Methodologie: INSPECTOR

Om deze hypothese te operationaliseren, introduceren de auteurs INSPECTOR (Internal Signal Probing and EvaluaTion Of Representations), een probing-gebaseerd framework. De pijplijn bestaat uit drie stadia:

3.1. LLM Evaluatie Annotatie (Goudstandaard Label Generatie)

• Respons Generatie: Een middelgroot model ($M_{med}$, bijv. 10–50B parameters) genereert antwoorden voor benchmark-queries. Dit model is gekozen om een diverse distributie van hoog- en laagwaardige samples te produceren.
• Scoring: Een state-of-the-art groot model ($M_{large}$, bijv. DeepSeek-V3) evalueert deze antwoorden op vijf specifieke aspecten: Semantische Consistentie, Logica, Informativiteit, Vloeiendheid en Feitelijkheid.
• Dataset Constructie: De resulterende paren van (evaluatie prompt, score) vormen de goudstandaard dataset ($D_{prob}$). Om balans te garanderen, wordt de dataset gedownsampled om het aantal samples over de 1–5 scoreniveaus gelijk te trekken.

3.2. Kleine LM Probing

• Input: Dezelfde evaluatie prompts worden ingevoerd in een klein taalmodel ($M_{small}$, bijv. 0.6B–1.7B parameters).
• Feature Extractie: In plaats van tekst te genereren, extraheert het framework verborgen toestanden ($H^{(\ell)}$) en attention-gewichten ($A^{(\ell)}$) uit elke laag $\ell$ van $M_{small}$.
• Pooling & Statistiek: Voor elke laag berekenen de auteurs een set gepoolde vectoren (gemiddelde, laatste, min, max, concat) en statistische kenmerken (attention entropie, norm, variantie, entropie).
• Laag Ranking: Eenvoudige lineaire probes (logistische regressie) worden getraind op deze kenmerken om de goudstandaard scores te voorspellen. Dit identificeert welke lagen en soorten kenmerken de meest voorspellende evaluatieve signalen bevatten.

3.3. Bouwen van Probing Classifiers

• Feature Assemblage: Op basis van de laag-ranking construeert het framework multi-laag feature-sets door kenmerken van de meest informatieve lagen te concateneren.
• Classifier Training: Lichtgewicht classifiers (Logistische Regressie, SVM, MLP, Random Forest) worden getraind op deze geconcateneerde kenmerken om ofwel multiclass scores (1–5) of binaire kwaliteitslabels (Hoog vs. Laag) te voorspellen.
• Selectie: De optimale configuratie (laagset, pooling methode, classifier) wordt geselecteerd via cross-validatie om de prestaties te maximaliseren en de complexiteit te minimaliseren.

4. Belangrijkste Resultaten

Experimenten werden uitgevoerd op reasoning benchmarks (GSM8K, MATH, GPQA) met diverse SLMs (Qwen3-0.6B/1.7B, Llama-3.2-1B, Llama-3.1-8B).

• Superioriteit over Prompting: INSPECTOR presteert aanzienlijk beter dan directe prompting op dezelfde kleine modellen. In multiclass classificatie verbeterden de F1-scores gemiddeld met meer dan 20%. In binaire classificatie behaalden de probing classifiers 80–90% F1-scores, terwijl prompting vaak niet boven de random baselines uitkwam.
• Benaderen van Grote Modellen: De probing-gebaseerde evaluatie van kleine modellen benadert nauw de getrouwheid van full-scale LLM judges (bijv. DeepSeek-V3) in filteringtaken, ondanks dat de kleine modellen aanzienlijk minder parameters hebben.
• Modelgrootte Onafhankelijkheid: Grotere modellen presteren niet consistent beter dan kleinere modellen in probing-taken. Bijvoorbeeld, Qwen3-0.6B presteerde beter dan Qwen3-1.7B in bepaalde logica-taken, en Llama-3.2-1B overtrof Llama-3.1-8B in fluency probing. Dit daagt de aanname uit dat schaling strikt noodzakelijk is voor evaluatie.
• Nut van Data Filtering: Classifiers getraind via deze methode dienen als zeer betrouwbare filters voor ruisige reasoning data. Wanneer ze werden gebruikt om trainingsdata te filteren voor de Supervised Fine-Tuning (SFT) van een student-model (Llama-2-7B), leverde de probing-gebaseerde filter prestaties die vergelijkbaar waren met het gebruik van de dure DeepSeek-V3 als filter, en presteerde het significant beter dan random filtering.

5. Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Empirische Ontdekking: Het identificeert en analyseert het fenomeen dat kleine LMs rijke, evaluatie-relevante signalen coderen in hun interne representaties, zelfs wanneer hun generatieve output slecht is.
2. Theoretische Formulering: Het formaliseert de Semantische Capaciteitsasymmetrie-hypothese, en beargumenteert dat evaluatie een taak met een lagere capaciteit is dan generatie en kan worden gegrond in tussenliggende representaties.
3. Paradigmaverschuiving: Het introduceert Representation-as-a-Judge en realiseert dit via INSPECTOR. Dit wordt gepresenteerd als het eerste werk dat LLM probing specifiek voor evaluatietaken onderzoekt, wat een schaalbare, interpreteerbare en kosteneffectieve alternatief biedt voor het huidige "LLM-as-a-Judge" paradigma.

De auteurs concluderen dat deze aanpak efficiënte, referentievrije evaluatie en data-curatie mogelijk maakt, wat suggereert dat hoogwaardige oordeelsvorming geen grote-schaal generatieve modellen vereist, maar kan worden benut uit de latente kenmerken van kleinere, meer toegankelijke modellen.