Technisch overzicht: Evidence-Diagnosed Intervention Training (EDIT) voor Regelgetrouwe LLM-beoordeling

1. Probleemstelling

Betrouwbare beoordeling op basis van een rubric voor de antwoorden van studenten is een complexe taak van regeltoepassing die meer vereist dan alleen een nauwkeurige voorspelling van de uiteindelijke score. Een beoordelaar moet elk oordeel funderen in het expliciete beoordelingsschema en specifieke bewijslast uit het antwoord van de student. Hoewel Large Language Models (LLMs) steeds vaker worden ingezet als automatische beoordelaars, blijft het trainen van deze modellen om betrouwbaar te beoordelen een uitdaging.

Bestaande benaderingen kampen met aanzienlijke beperkingen in dit domein:

• Resultaatgerichte Reinforcement Learning (RL): Methoden zoals GRPO wijzen een enkele beloning toe aan de gehele redeneertraject. Ze falen in het identificeren van welke speciele tussenliggende redeneerstap een onjuiste markering veroorzaakte, wat het moeilijk maakt om het besluitvormingsproces van het model te corrigeren.
• Zelfvoorzienende redeneermethoden: Technieken ontworpen voor taken zoals wiskunde (bijv. token-herallocatie of interventie-training) worstelen hier omdat rubric-beoordeling vereist dat er wordt geaard in externe bronnen. Het model moet zijn oordelen verankeren in een externe policy (de rubric) en de tekst van de student, in plaats van enkel te vertrouwen op interne logische consistentie.
• Onzekerheidsreductie: Regelgebaseerd redeneren is een proces van het verminderen van onzekerheid. De overtuiging van het model over de uiteindelijke markering zou progressief moeten convergeren. Huidige methoden controleren dit traject niet; resultaatgerichte RL negeert schadelijke verschuivingen in de overtuiging die halverwege het redeneren optreden, terwijl rigide token-niveau beperkingen onschuldige verkennende formuleringen mogelijk te streng bestraffen.

2. Methodologie: EDIT-framework

De auteurs stellen het Evidence-Diagnosed Intervention Training (EDIT) framework voor, een tweefasig framework ontworpen om rubric-getrouwe LLM-beoordelaars te trainen. EDIT maakt gebruik van de interne beslissingssignalen van het model om fouten te lokaliseren, deze lokaal te herzien en de evolutie van de overtuiging van het model tijdens het redeneren te kalibreren.

Fase 1: EDIT-SFT (Supervised Fine-Tuning met Interne-Toestand Diagnostiek)

Deze fase construeert een supervised trainingspool door kleine, lokale delen van onjuiste redeneertrajecten te herzien. Het vervangt onbetrouwbare prompt-gebaseerde zelfaudits door Interne Toestand Diagnostiek.

1. Extractie van Interne Toestandssignalen:
   • Posterior Belief Probe: Bij elke grens van een redeneerstap schat het model zijn posterior overtuiging over de uiteindelijke gehele markering in. De verandering in de verwachte absolute fout ($\Delta \epsilon_k$) tussen stappen identificeert of een stap de overtuiging dichter bij of verder van de gouden markering bracht.
   • Masker-gebaseerde Grondingsaudit: Het systeem berekent support scores om te meten in ho Wille de waarschijnlijkheid van een redeneerstap afhangt van de beoordelingsregels, het antwoord van de student en de redeneerprefix. Stappen met lage grondingsscores (zwak verankerd in bewijs of regels) worden gemarkeerd.
2. Selectie van Kandidaten: Het systeem selecteert stappen die de overtuiging van het model het sterkst weg van de gouden markering brachten (negatieve $\Delta \epsilon_k$) en die zwak gegrond zijn.
3. Atomaire Revisie: Geselecteerde stappen worden herzien naar 1–3 nieuwe sub-stappen. Deze revisie wordt gestuurd door een rubric checklist (gegenereerd met de gouden markering als geprivilegieerde context tijdens de training), maar wordt beperkt door lokaliteit. De revisie moet de lokale fout herstellen zonder de coherentie van de oorspronkelijke redeneerketen te vernietigen of simpelweg het gouden antwoord te kopiëren.
4. Training: Succesvolle revisies die leiden tot de correcte markering worden samengevoegd met natuurlijk correcte rollouts om het beleid te trainen via SFT.

Fase 2: EDIT-RL (Reinforcement Learning met Belief-Guided Reward Shaping)

Deze fase kalibreert het via SFT getrainde beleid met behulp van Group-Relative Policy Optimization (GRPO), aangevuld met een specifieke reward shaping mechanisme.

• Afstandsbewuste Resultaatbeloning: Een dense reward wordt toegewezen op basis van de afstand tussen de voorspelde markering en de goude markering.
• Belief-Guided Reward Shaping: Om het proces van onzekerheidsreductie te beheren, wordt een straf toegevoegd voor grote mid-trajectory belief drifts. De beloningsfunctie straft het model als de posterior overtuiging bij een intermediaire stap te ver afwijkt van de gouden markering (voorbij een tolerantiedrempel $\beta_{drift}$), terwijl kleine fluctuaties voor onschuldige exploratie worden toegestaan.
• Implementatie: De posterior probe die wordt gebruikt voor shaping wordt uitgevoerd op een bevroren checkpoint van het EDIT-SFT beleid om een stationair signaal te behouden en reward hacking te voorkomen.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. EDIT Framework: Een nieuw tweefasig trainingsframework dat credit assignment aanpast voor extern gegronde rubric-beoordeling, waarmee het verder gaat dan gesloten systemen voor redeneertaken.
2. Interne Toestand Diagnostiek: De vervanging van prompt-gebaseerde zelfaudits door robuuste posterior overtuigings- en grondingssignalen om gebrekkige redeneerstappen te lokaliseren. Dit wordt gekoppeld aan een rubric-checklist context om lokale atomaire revisies te ondersteunen zonder rigide output-templates op te leggen.
3. Belief-Guided Reward Shaping: Een kalibratie RL-mechanisme dat ernstige mid-trajectory belief drifts bestraft terwijl het onschuldige exploratie toestaat, waardoor de beoordelingsnauwkeurigheid en de generalisatie naar out-of-domain scenario's worden verbeterd.

4. Experimentele Resultaten

De auteurs evalueerden EDIT op twee real-world, multi-subject benchmarks: SAS (een Chinese benchmark voor korte antwoorden met Geschiedenis, Geografie en Natuurkunde) en Private-Science (een eigen dataset op GCSE-niveau voor Biologie en Natuurkunde).

• Prestaties: EDIT presteerde consequent beter dan sterke baselines, inclus\n bij standaard SFT, GRPO, DGPO en InT (Intervention Training), over zowel in-domain (ID) als out-of-domain (OOD) splits.
  • Op de SAS-benchmark (volledig OOD) bereikte EDIT-RL de beste gemiddelde macro-QWK (0.794), wat aanzienlijk beter is dan het basismodel (0.727) en andere RL-baselines.
  • Op Private-Science toonde EDIT-SFT gestage winst over zowel ID als OOD splits, terwijl andere methoden (zoals InT-RL) tekenen van overfitting vertoonden op specifieke vraagtypen in de OOD-setting.
• Ablatie-studies:
  • Het verwijderen van de interne-signaal localizer veroorzaakte de grootste prestatiedaling, wat bevestigt dat het selecteren van de juiste stappen voor revisie cruciaal is.
  • Het verwijderen van de rubric-checklist context verhoogde de variantie in het beoordelingsgedrag.
  • Het verwijderen van atomaire lokaliteitsbeperkingen resulteerde in een lichte degradatie, wat suggereert dat het behoud van de oorspronkelijke redeneerstructuur gunstig is.
  • Het direct toepassen van EDIT-RL op het basismodel leverde niet dezelfde OOD-verbeteringen op als het toepassen ervan na EDIT-SFT, wat aangeeft dat de SFT-fase een noodzakelijke voorwaarde is voor effectieve belief-guided kalibratie.

5. Betekenis en Claims

Het artikel claimt dat EDIT een specifiek gat in automatische beoordeling opvult: de behoefte aan modellen die niet alleen een score voorspellen, maar dit doen via een redeneerproces dat getrouw is aan externe regels en gegrond is in studentbewijs.

• Regelgetrouwheid: De auteurs demonstreren dat EDIT de "Rule-Sensitivity Ratio" (RSR) verbetert, wat aantoont dat de scoreveranderingen van het model de deterministische wijzigingen in het beoordelingsschema nauwkeuriger weerspiegelen vergeleken met baseline-modellen.
• Generalisatie: De belief-guided reward shaping wordt beweerd bijzonder effectief te zijn voor out-of-domain generalisatie, omdat het voorkomt dat het model instabiele redeneertrajecten ontwikkelt wanneer het met ongeziene vragen wordt geconfronteerd.
• Methodologische Verschuiving: Het werk pleit voor een verschuiving van outcome-only optimalisatie naar procesbewuste training die het interne beslissingstraject van de beoordelaar monitort en corrigeert.

De auteurs hanteren een bescheiden standpunt door op te merken dat hoewel EDIT aanzienlijk beter presteert dan baselines, de prestaties variëren per vakgebied (bijv. Geografie vertoonde andere trends dan Geschiedenis of Natuurkunde), wat suggereert dat verschillende vakken mogelijk baat hebben bij verschillende vormen van adaptatie. Het framework wordt gepresenteerd als een robuuste oplossing voor het trainen van rubric-getrouwe beoordelaars in real-world, multi-subject onderwijsinstellingen.