Through the Judge's Eyes: Inferred Thinking Traces Improve Reliability of LLM Raters

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet als geautomatiseerde beoordelaars voor het evalueren van open tekstgeneratie-taken. Hoewel ze schaalbaar en efficiënt zijn, vertonen ze vaak een lage betrouwbaarheid bij subjectieve taken die nuance en menselijke oordelen vereisen. Een fundamenteel probleem is dat bestaande annotatiedatasets vaak beperkt blijven tot "label-only" data (bijv. een score van 1-5), zonder de onderliggende redenering of "thinking traces" (denksporen) van de menselijke beoordelaars.

Zonder deze denksporen missen LLM-beoordelaars de context en de nuance die nodig zijn om menselijke oordelen te kalibreren. Het handmatig verzamelen van deze denksporen is echter kostbaar, tijdrovend en moeilijk te stimuleren, wat leidt tot datasets die rijk zijn aan labels maar arm aan de rationale daarachter.

Methodologie

De auteurs stellen een mens-LLM collaboratief framework voor om latente denksporen (thinking traces) te infereren uit bestaande datasets die alleen labels bevatten. Het framework bestaat uit drie hoofdfasen:

1. Inferentie van Denksporen via Rejection Sampling

• Input: Een dataset met menselijke annotaties $(x_i, y_i)$, waarbij $x_i$ de tekst is en $y_i$ de menselijke score.
• Generator: Een Reasoning Language Model (RLM) dat in staat is om stap-voor-stap redeneringen te genereren (bijv. DeepSeek-R1 of gpt-oss).
• Proces: Voor elk voorbeeld genereert het RLM $k$ kandidaat-denksporen en bijbehorende scores.
• Filtering (Rejection Sampling): Alleen die denksporen die worden behouden waarbij de gegenereerde score ($y'_{i,j}$) exact overeenkomt met de menselijke grondwaarheid ($y_i$).
• Output: Een verrijkte dataset $D_{reason} = \{(x_i, t'_i, y_i)\}$, waarbij $t'_i$ de gereconstrueerde denkspoor is. Dit fungeert als een proxy voor het menselijke denkproces.

2. Toepassing 1: Fine-tuning van Open-Weight LLM Beoordelaars
De verrijkte dataset wordt gebruikt om open-weight LLM's te fine-tunen via Supervised Fine-Tuning (SFT). In tegenstelling tot standaard SFT dat alleen op $(x, y)$ traint, leert dit model de volledige denkspoor $t'$ te genereren voordat het de definitieve score $y$ voorspelt. Dit dwingt het model om de redeneringsketen na te bootsen die leidt tot het menselijke oordeel.

3. Toepassing 2: Automatische Verfijning van Annotatie-Codeboeken
Voor propriëtaire LLM's (waar fine-tuning niet mogelijk is), worden de afgeleide denksporen gebruikt om de instructies (codebooks) te verbeteren. Dit gebeurt in twee stappen:

• Instructies verbeteren: Het samenvatten van gemeenschappelijke redeneerpatronen uit de denksporen tot een expliciete, stap-voor-stap procedure.
• Rubrieken verrijken: Het extraheren van representatieve kritieken per scoreniveau en het synthetiseren van gedetailleerde, voorbeeldgebonden beoordelingsrubrieken.
  Dit resulteert in een verfijnd codeboek ($C'$) dat als een superieure prompt dient voor black-box API-modellen.

Belangrijkste Bijdragen

1. Framework voor Inferentie: Een nieuwe methode om denksporen te reconstrueren uit label-only data via rejection sampling, zonder dat menselijke annotatoren de redenatie hoeven te schrijven.
2. Twee Complementaire Toepassingen: Het demonstreert dat deze sporen zowel direct nuttig zijn voor het trainen van gespecialiseerde beoordelaars als voor het automatisch optimaliseren van prompts voor bestaande modellen.
3. Codebook-Refinement: Een innovatieve aanpak om ambiguïteiten in annotatie-instructies op te lossen door data-gedreven inzichten uit RLM's te gebruiken, wat leidt tot consistentere beoordelingen.

Resultaten

De methode is getest op vijf diverse datasets (o.a. korte verhalen, essays, nieuws samenvattingen, vertalingen en chatbot-antwoorden) met verschillende taakdimensies (complexiteit, betrokkenheid, consistentie, etc.).

• Verbeterde Mens-LLM Overeenstemming:
  • Bij fine-tuning van open-weight modellen steeg de gemiddelde Kendall's Tau (correlatie met menselijke oordelen) van 0.197 naar 0.281 (+42,6%).
  • Het gebruik van verfijnde codeboeken voor propriëtaire modellen (zoals Claude, Gemini, GPT) leidde eveneens tot significante verbeteringen in mens-LLM overeenstemming.
• Verbeterde Inter-Rater Betrouwbaarheid:
  • De verfijnde codeboeken verhoogden de onderlinge betrouwbaarheid (ICC3) tussen verschillende LLM-modellen van 0.580 naar 0.621.
  • Dit betekent dat verschillende modellen, wanneer ze dezelfde verfijnde instructies volgen, consistentere oordelen vellen.
• Ablatie Studies:
  • Het trainen zonder denksporen (alleen op labels) resulteerde in slechtere prestaties, wat aantoont dat de redeneringstap essentieel is.
  • Het framework bleef effectief zelfs bij het gebruik van "post-hoc" verklaringen (waarbij het model de redenatie na de score genereert), hoewel native denksporen iets beter presteerden.

Betekenis en Conclusie

Dit onderzoek toont aan dat Reasoning Language Models (RLMs) kunnen fungeren als praktische proxies voor menselijke denksporen, zelfs als deze niet expliciet zijn vastgelegd. Door "label-only" corpora om te zetten in "thinking-trace-augmented" resources, kunnen LLM-beoordelaars betrouwbaarder, consistenter en beter afgestemd worden op menselijke waarden.

De studie biedt een schaalbare oplossing voor het probleem van subjectieve evaluatie, waarbij de kosten van menselijke annotatie van redeneringen worden omzeild. Dit heeft grote implicaties voor de kwaliteit van evaluatie in AI-systemen, het trainen van betere beoordelaars en het creëren van transparantere en interpreteerbare AI-evaluatiepipelines. De auteurs benadrukken dat dit framework niet alleen de prestaties van AI verbetert, maar ook potentieel heeft om de kwaliteit van menselijke annotatieprocessen te verbeteren door verfijnde richtlijnen te bieden.