From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges

Technische Samenvatting: Van Rubrics naar Betrouwbare Scores (RULERS)

Probleemformulering
Het artikel behandelt de uitdaging om bevroren, black-box Large Language Models (LLM's) te gebruiken als beoordelaars voor tekstbeoordeling op basis van rubrics. Hoewel LLM's schaalbaarheid bieden, blijft het moeilijk om ze af te stemmen op menselijke scorenormen vanwege drie terugkerende faalmodi:

1. Afwijking in Rubric-uitvoering: Dezelfde rubric wordt tijdens de inferentie anders geïnterpreteerd door variaties in promptformulering, de volgorde van criteria of de modelbackbone, wat leidt tot onstabiele definitie van criteria en scoregrenzen.
2. Onverifieerbare scoretoewijzing: Scores of rationales worden vaak gegenereerd zonder bewijs dat kan worden gecontroleerd tegen de invoer tekst, waardoor vrij vormgegeven verklaringen potentieel ontrouw of onvoldoende zijn voor betrouwbare beoordeling.
3. Menselijke-schaal misalignering: Ruwe modelscores, oordelen over eigenschappen of vertrouwenssignalen sluiten vaak niet aan bij de specifieke scoreverdelingen en grensconventies die door menselijke beoordelaars worden gebruikt.

De auteurs kaderen dit niet louter in als een taak voor prompt engineering, maar als een criteria-overdrachtsprobleem: het doel is om de intentie van een door mensen geschreven rubric over te dragen naar een stabiel, controleerbaar en mensgericht scoreprotocol voor een bevroren LLM zonder de parameters van het model bij te werken.

Methodologie: Het RULERS-kader
Het artikel introduceert RULERS, een drie-fasen framework voor inferentietijd dat is ontworpen om de geïdentificeerde faalmodi aan te pakken zonder de beoordelaar te fine-tunen.

• Fase I: Specificatie en vergrendeling van de rubric
  De door mensen geschreven natuurlijke taalrubric ($R$) wordt omgezet in een gestructureerde, herbruikbare en "vergrendelde" bundel op taakniveau ($B$). Deze bundel bevat:

  • Beoordelingseigenschappen ($T$).
  • Een operationele checklist ($C$) waarbij elk item een beslissingsschaal (0, 1, 2) en een type bewijsgronding krijgt toegewezen.
  • Taakspecifieke scoreankers en beschrijvingen van grenzen ($S$).
  • Bewijsregels ($E$) die definiëren hoe citaten moeten worden verankerd in de invoer tekst.
    Zodra de bundel is gegenereerd, wordt deze geserialiseerd, gehasht en onveranderd hergebruikt voor alle instanties in de taak, waardoor herinterpretatie van criteria tijdens runtime wordt voorkomen.

• Fase II: Bewijs-gegronde uitvoering van de rubric
  De bevroren beoordelaar voert de vergrendelde bundel uit op de invoer tekst ($x$), die is opgedeeld in atomaire eenheden. Het model produceert een gestructureerde output die bevat:

  • Checklist-beslissingen ($d$).
  • Geciteerd bewijs ($E_x$) dat moet voldoen aan specifieke operatoren (bijvoorbeeld letterlijke zinquotes, paragraafspanningen of diagnostiek op documentniveau) op basis van het type checklist-item.
  • Auxiliary verificatie-indicatoren.
    Het systeem verifieert dat het geciteerde bewijs is verankerd in de invoer tekst (bijvoorbeeld door te controleren of een quote daadwerkelijk voorkomt in de aangehaalde zin). Deze fase bundelt beslissingen tot ruwe eigenschapsscores en genereert gestructureerde signalen voor kalibratie.

• Fase III: Afstemming op menselijke schaalverdeling
  Om misalignering aan te pakken, wordt een lichtgewicht post-hoc kalibratiestap toegepast om de gestructureerde modelsignalen af te stemmen op de menselijke scoreschaal.

  • Een ridge-regressiemodel van de tweede orde wordt gefit op een gelabelde kalibratieset ($D_{cal}$) om een latente score ($z$) te voorspellen op basis van de gestructureerde kenmerken.
  • Een monotone verdelingsafstemming (kwantielmapping) transformeert de latente score zodat deze overeenkomt met de empirische cumulatieve verdelingsfunctie van menselijke scores.
  • Deze mapping wordt na kalibratie vastgezet en toegepast op testinstanties die niet in de kalibratie zijn gebruikt.

Belangrijkste bijdragen

1. Probleemformulering: De auteurs herformuleren rubric-gebaseerde evaluatie als een criteria-overdrachtsprobleem, waarbij de focus verschuift van de vraag of LLM's rubrics kunnen begrijpen, naar de vraag of de intentie van een rubric kan worden overgebracht naar stabiele, controleerbare procedures.
2. RULERS-framework: Zij stellen een unificerend protocol voor dat vergrendeling van rubrics, bewijs-gegronde uitvoering en afstemming op menselijke schaal combineert. Deze aanpak richt zich specifiek op uitvoeringsafwijkingen, onverifieerbare toewijzing en schaal-misalignering.
3. Empirische validatie: Het framework wordt geëvalueerd over vier diverse rubric-gestuurde benchmarks (ASAP 2.0, SummHF, DREsS, WebNLG) en meerdere bevroren backbone-modellen (GPT-4o, Llama-3.1).

Resultaten

• Menselijke afstemming: RULERS bereikt in de meeste geëvalueerde scenario's een sterkere overeenstemming met menselijke scores (gemeten met Quadratic Weighted Kappa, QWK) dan baselines zoals Direct Holistic Scoring (DHS), Multi-Trait Specialization (MTS) en CheckEval.
• Verdelingsafstemming: De methode komt beter overeen met empirische menselijke scoreverdelingen, behoudt zowel de centrale massa als de spreiding van beoordelingen, en toont grotere stabiliteit over verschillende backbone-modellen heen.
• Robuustheid: RULERS toont robuustheid tegen semantisch equivalente rubric-perturbaties (bijvoorbeeld het herschikken van criteria of parafraseren), terwijl baselines die vertrouwen op ruwe promptformulering aanzienlijke prestatiedalingen vertonen.
• Ablatiestudies: Het verwijderen van een van de drie fasen (vergrendeling, bewijsgronding of verdelingsafstemming) verslechtert de prestaties, wat bevestigt dat alle componenten bijdragen aan de uiteindelijke resultaten.
• Kalibratiecontrole: Experimenten tonen aan dat het toepassen van alleen de kalibratiestap op baseline-outputs de winsten van RULERS niet volledig reproduceert, wat aangeeft dat de gestructureerde, bewijs-gegronde upstream-signalen cruciaal zijn.

Betekenis en claims
Het artikel stelt dat betrouwbare LLM-beoordeling vaste criteria, traceerbaar bewijs en gekalibreerde scoreinterpretatie vereist, en niet alleen promptformulering of modelgrootte. Door de rubric te behandelen als een latente scorestructuur en deze over te dragen naar een vergrendeld protocol, biedt RULERS een schaalbaar, controleerbaar en mensgericht alternatief voor traditionele referentiegebaseerde metrics en ongestructureerde LLM-prompting. De auteurs benadrukken dat dit framework is ontworpen voor bevroren, black-box beoordelaars, waardoor het toepasbaar is op kant-en-klare modellen zonder de noodzaak van taakspecifieke fine-tuning.

Beperkingen opgemerkt door de auteurs
De auteurs erkennen dat RULERS afhankelijk is van de kwaliteit van de bronrubric (het operationaliseert maar repareert geen gebrekkige rubrics), afhankelijk is van de capaciteit van de gekozen bevroren backbone, en een gelabelde kalibratieset vereist voor de afstemmingsfase. Zij merken ook op dat generalisatie naar substantieel verschillende domeinen of rubric-formaten her-specificatie en herkalibratie vereist.