AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling

Technische Samenvatting: AdaJudge

Probleemstelling

Beloningsmodellering (reward modeling) is cruciaal voor het afstemmen van Large Language Models (LLMs) op menselijke voorkeuren, maar huidige architecturen kampen met twee fundamentele structurele beperkingen:

1. Statische Inductieve Bias: Dominante beloningsmodellen vertrouwen op vaste pooling-strategieën (bijv. last-token of mean pooling) om sequentie-representaties te condenseren tot scalaire scores. Dit creëert een mismatch met de taakafhankelijke aard van voorkeurssignalen. Zo vereisen redeneertaken vaak gelokaliseerde terminale signalen (wat last-token pooling bevoordeelt), terwijl veiligheids- of coherentietaken holistische, gedistribueerde bewijslast vereisen (wat mean pooling bevoordeelt). Een enkele statische strategie dwingt een afweging af, wat vaak faalt in het vastleggen van de ruimtelijke distributie van bewijs die nodig is voor specifieke domeinen.
2. Representatieve Mismatch: Backbone LLM's zijn geoptimaliseerd voor next-token predictie (generatieve taken), terwijl beloningsmodellering fijnmazige paarwijze discriminatie vereist. Bijgevolg kunnen de ruwe verborgen toestanden (hidden states) van de backbone de noodzakelijke kenmerken missen om subtiele voorkeursverschillen te onderscheiden, zoals logische inconsistenties of kleine schendingen van restricties, zonder verdere aanpassing.

Bestaande oplossingen vertrouwen vaak op het schalen van data of modelgrootte, of gebruiken computationeel dure ensembles van meerdere modellen om adaptiviteit te bereiken, waarbij de fundamentele architecturale rigiditeit van enkelvoudige beloningskoppen (reward heads) onbenut blijft.

Methodologie: AdaJudge

De auteurs stellen AdaJudge (Adaptive Multi-Perspective Judging) voor, een verenigd tweestaps-framework ontworpen om zowel de representatie als de aggregatie gezamenlijk aan te passen zonder dat er token-niveau of proces-supervisie nodig is.

Fase I: Adaptieve Representatie-verfijning

Om de representatieve mismatch aan te pakken, introduceert AdaJudge een lichtgewicht iteratieve verfijningsmodule die wordt toegepast na de backbone LLM.

• Mechanisme: De module bestaat uit $K$ sequentiële transformer-blokken.
• Depth-Gating: Een globale sequentie-niveau contextvector (afgeleid via mean pooling van de backbone-features) wordt door een gating-netwerk gestuurd om mengcoëfficiënten $\alpha$ te produceren.
• Verfijning: De uiteindelijke verfijnde representatie $\tilde{H}$ is een convexe combinatie van alle tussenliggende verborgen toestanden ($H^{(1)}$ tot $H^{(K)}$). Dit stelt het model in staat om dynamisch ondiepe signalen te benadrukken of diepere redeneersporen te accumuleren, afhankelijk van de complexiteit van de input-sample.

Fase II: Multi-Perspectief Aggregatie

Om de statische inductieve bias aan te pakken, vervangt AdaJudge de vaste readout door een Domain-Aware Gated Mixture-of-Pooling kop.

• Parallelle Experts: De verfijnde representatie $\tilde{H}$ wordt verwerkt door drie parallelle pooling-experts:
  1. Last-Token Pooling ($z_L$): Legt conclusie-gevoelige signalen vast.
  2. Mean Pooling ($z_M$): Legt globale stilistische en coherentie-attributen vast.
  3. Attention Pooling ($z_A$): Detecteert ijle anomalieën ergens in de sequentie.
• Prompt-Conditioned Routing: Een aparte prompt-representatie ($z_P$) wordt afgeleid via mean pooling van de prompt-tokens. Een routing-netwerk neemt de geconcateneerde vector $[z_L; z_M; z_A; z_P]$ en genereert menggewichten $\pi$ via softmax.
• Dynamische Scoring: De uiteindelijke beloningsscore $r(x, y)$ is een gated mengeling van de scores uit de drie perspectieven ($s_L, s_M, s_A$), gewogen door $\pi$. Dit stelt het model in staat om adaptief de aggregatiestrategie te selecteren die het beste aansluit bij de ruimtelijke distributie van het bewijs dat door de specifieke prompt vereist is.

Optimalisatie

Het model wordt getraind met een Focal Bradley–Terry objectief. De loss-functie bevat een focal term om moeilijke samples te benadrukken en een entropie-regularisatieterm om te voorkomen dat de routing-distributie instort naar één enkel perspectief, waardoor het model een divers scala aan aggregatiestrategieën behoudt.

Belangrijkste Bijdragen

1. Identificatie van Structurele Mismatches: Het artikel identificeert formeel dat generatieve-georiënteerde backbones een gebrek hebben aan fijnmazige discriminatiekenmerken en dat vaste pooling faalt in het vastleggen van de multi-granulaire aard van voorkeurselementen.
2. Verenigd Framework: De introductie van AdaJudge, dat gezamenlijk de representatie-verfijning (via depth-gated blokken) en de bewijs-aggregatie (via domain-aware routing) aanpast zonder externe supervisie.
3. Empirische Superieuriteit: Gedemonstreerd consistente prestatieverbetering ten opzichte van sterke off-the-shelf beloningsmodellen en gecontroleerde baselines (dezelfde backbone, verschillende koppen) over diverse domeinen en modelmaten.

Experimentele Resultaten

Experimenten werden uitgevoerd op RM-Bench en JudgeBench, gebruikmakend van de base modellen Phi-3.5-mini-instruct, Qwen3-4B, en Qwen3-8B getraind op de HelpSteer3 dataset.

• Prestatiewinsten: AdaJudge presteerde significant beter dan traditionele pooling-baselines. Opvallend genoeg overtrof een Qwen3-8B model uitgerust met AdaJudge (71.1 totaal op RM-Bench) een veel groter 27B-parameter Skywork-Reward-Gemma-2 model (70.5), wat een hoge parameterefficiëntie aantoont.
• Resolutie van Trade-offs: Statische baselines vertoonden conflicterende prestatieprofielen (bijv. last-token pooling excelleerde in veiligheid maar faalde in wiskunde; mean pooling deed het tegenovergestelde). AdaJudge bereikte een "Pareto-verbetering", waarbij het simultaan de prestaties maximaliseerde in Wiskunde (80.4), Veiligheid (87.5) en robuustheid op harde subsets (43.0).
• Ablatie-studies:
  • Het verwijderen van de verfijningsfase resulteerde in significante dalingen in taken met veel redenering (Wiskunde en Code), wat de noodzaak bevestigt om de representatieruimte aan te passen.
  • Statische single-view baselines (Last-Token, Mean, Attention) presteerden consequent minder goed dan de adaptieve mengeling, met name op de "Hard" subsets van de benchmarks.
• Analyse van Interne Mechanismen:
  • Alignment: Iteratieve verfijning verhoogde de cosinus-alignment tussen de score-richting en het werkelijke voorkeursverschil, met name voor de mean en attention pooling views.
  • Routinggedrag: Het gating-mechanisme leerde onderscheidende aggregatiepatronen per domein (bijv. een hoger gewicht op Attention pooling voor Code/Wiskunde, en Mean pooling voor Veiligheid), wat de capaciteit van het model valideert om zich aan te passen aan domeinspecifieke bewijsdistributies.

Betekenis

Het artikel betoogt dat de rigiditeit van vaste aggregatiestrategieën een primaire bottleneck is in beloningsmodellering. Door de representatie-verfijning te ontkoppelen van de bewijs-aggregatie, demonstreert AdaJudge dat dynamische, instantie-adaptieve architecturen de beperkingen van statische inductieve biases kunnen overwinnen. Het werk suggereert dat toekomstige beloningsmodellering verder moet kijken dan alleen het schalen van data of modelgrootte, en zich moet richten op architecturale flexibiliteit die interne representaties en aggregatiestrategieën afstemt op de specifieke ruimtelijke en logische eisen van de evaluatietaak.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Schaalbaarheid: De validatie is momenteel beperkt tot modellen tot 8B parameters; de effectiviteit op extreme schaal modellen (70B+) blijft onverkend.
• Latency: Hoewel lichtgewicht, introduceren de iteratieve verfijning en het routing-netwerk extra parameters en inferentie-latency vergeleken met standaard vaste pooling-baselines.
• Expert Library: De huidige implementatie gebruikt een vaste set van drie pooling-experts. Het framework is uitbreidbaar, maar de optimale set van experts en de potentie voor automatische ontdekking van experts zijn openstaande vragen.
• Modaliteit: De evaluatie is momenteel beperkt tot tekstuele voorkeursmodellering, met potentieel voor uitbreiding naar multimodale inputs.