🤖 machine learning

Feedback-to-Rubrics: Can We Learn Expert Criteria from Inline Comments?

Dit artikel stelt een methode voor en evalueert deze voor het automatisch afleiden van herbruikbare natuurlijke-taal beoordelingscriteria uit geaccumuleerde inline-opmerkingen, en toont aan dat deze gedistilleerde criteria effectief commentaarpredictie, begrip van beoordelingscriteria en automatische herziening van artefacten kunnen ondersteunen in zowel real-world als gecontroleerde settings.

Oorspronkelijke auteurs: Kotaro Yoshida, So Kuroki, Yuki Imajuku, Taishi Nakamura, Ryunosuke Iwai, Haruki Goda, Takuya Akiba

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kotaro Yoshida, So Kuroki, Yuki Imajuku, Taishi Nakamura, Ryunosuke Iwai, Haruki Goda, Takuya Akiba

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een junior redacteur bent bij een uitgeverij. Je hebt een stapel manuscripten, maar je weet niet precies waar je seniorredacteuren naar op zoek zijn. Je hebt hun rode penmarkeringen (inline opmerkingen) op oude concepten gezien, maar je bent nooit de regels verteld achter die markeringen. Je weet dat ze een zin omcirkelen en "Te vaag" schrijven, maar je weet niet of dat betekent "geef meer cijfers", "leg de logica uit" of "verwijs naar een bron".

Dit artikel, getiteld "Feedback-to-Rubrics", gaat over het leren aan een computer om die verborgen regels te achterhalen, puur door te kijken naar de stapel rode penmarkeringen.

Hier is de uitleg van wat ze deden, met behulp van eenvoudige analogieën:

1. Het Probleem: Het "Taciete" Geheime Ingrediënt

Meestal hebben experts (zoals seniorredacteuren of wetenschappers) bij het beoordelen van werk een mentale checklist van wat iets goed of slecht maakt. Maar ze schrijven deze checklist zelden op. Het is "taciete" kennis – net als een kok die weet dat soep meer zout nodig heeft, maar niet precies kan uitleggen waarom of hoeveel zonder het eerst te proeven.

Grote Taalmodellen (LLM's) zijn geweldig in schrijven, maar ze zijn slecht in het raden van deze verborgen, ongeschreven regels. Als je een AI vraagt "maak dit beter", kan het de verkeerde dingen veranderen omdat het de specifieke "smaak" van de voorkeuren van de expert niet kent.

2. De Oplossing: Het Omzetten van "Krassen" in een "Recept"

De auteurs stellen een nieuwe manier voor om deze regels te leren. In plaats van mensen te vragen een regelboek te schrijven (wat moeilijk is omdat ze niet weten hoe ze hun ingevingen moeten uitleggen), kijken ze naar de inline opmerkingen die experts al op duizenden concepten hebben achtergelaten.

Beschouw de inline opmerkingen als krassen op een kaart.

De Oude Manier: Probeer de locatie van de schat te raden door naar de hele kaart te kijken.
De Manier van Dit Artikel: Kijk naar elke afzonderlijke kras, ontdek wat voor soort schat de kaartmaker zocht, en teken vervolgens een nieuwe, duidelijke "Schatkaart" (een Rubriek) die precies uitlegt waar je moet zoeken.

3. Hoe de Machine Leert: De "Raad, Controleer en Repareer"-Lus

De methode werkt als een student die voor een toets studeert door oefenvragen te maken en het antwoordmodel te controleren.

De Eerste Gissing: De computer kijkt naar een hoop oude concepten en de opmerkingen erop. Het probeert een ruw "Regelboek" (Rubriek) te schrijven op basis van wat het ziet.
De Simulatie: De computer doet vervolgens alsof het een expert is. Het neemt een nieuw concept, leest zijn eigen Regelboek en probeert er opmerkingen op te schrijven.
De Realiteitscheck: Het vergelijkt zijn eigen opmerkingen met de echte opmerkingen die door de menselijke expert zijn geschreven.
- Heeft de computer een punt gemist dat de mens maakte?
- Heeft de computer geklaagd over iets dat de mens negeerde?
De Reparaties (Het Magische Stap): Dit is het belangrijkste deel. De computer zegt niet zomaar "Ik had het fout". Het kijkt precies welke regel in zijn Regelboek de fout veroorzaakte.
- Analogie: Stel je voor dat je probeert te leren hoe je een taart bakt. Je proeft het, en het is te zout. In plaats van gewoon te zeggen "De taart is slecht", besef je: "Ah, de regel die ik schreef was 'voeg een snufje zout toe', maar ik had eigenlijk 'een snufje zout per kop bloem' nodig."
- De computer werkt zijn Regelboek bij om specifieker te worden, door grenzen en voorbeelden toe te voegen zodat het de volgende keer niet dezelfde fout maakt.

Ze doen dit keer op keer (iteratief), en verfijnen het Regelboek totdat het de stijl van de expert perfect nabootst.

4. Wat Ze Vonden (De Resultaten)

De auteurs testten dit op negen verschillende soorten teksten, van onderzoeksvoorstellen tot medische chatlogs. Ze vonden drie belangrijke dingen:

Betere Opmerkingen: Toen ze het geleerde Regelboek van de computer gebruikten om feedback te genereren, was de feedback veel accurater en nuttiger dan wanneer de computer geen regelboek had of gewoon vergelijkbare oude opmerkingen opzocht.
Een Duidelijker Regelboek: Het uiteindelijke Regelboek was niet zomaar een lijst met vage ideeën zoals "wees duidelijk". Het werd een gedetailleerde, specifieke gids (bijvoorbeeld: "Als een onderzoeksvraag te breed is, wijs erop dat deze een specifiek bereik nodig heeft"). Het ving daadwerkelijk het "geheime ingrediënt" van de experts.
Betere Herzieningen: Toen ze dit geleerde Regelboek aan een AI gaven en vroegen een slecht concept te repareren, deed de AI een veel beter werk om de tekst te verbeteren en te laten overeenkomen met wat de menselijke experts wilden.

5. De Conclusie

Dit artikel laat zien dat je experts niet hoeft te vragen om een handleiding te schrijven over hoe ze dingen moeten beoordelen. Je kunt gewoon hun oude notities (opmerkingen) aan een computer geven, het laten spelen met "raad de regel" en "repareer de fout" herhaaldelijk, en het zal uiteindelijk een herbruikbare, geschreven set criteria leren die hun expertise vastlegt.

Wat ze NIET deden:

Ze testten dit niet op medische diagnoses of klinische behandelingen.
Ze beweerden niet dat dit menselijke redacteuren volledig zal vervangen.
Ze zeiden niet dat dit werkt voor elk type data, alleen voor tekstconcepten met inline opmerkingen.

Kortom: Ze leerden een computer om tussen de regels van menselijke feedback te lezen en die rommelige notities om te zetten in een schone, bruikbare instructiehandleiding.

Technische Samenvatting: Feedback-naar-Rubrics

Probleemstelling

Grote taalmodellen (LLMs) worden steeds vaker ingezet voor ondersteuning bij het schrijven en beoordelen, maar hun effectiviteit wordt vaak beperkt door een gebrek aan contextafhankelijke criteria, zoals stilzwijgende expertvoorkeuren of organisatie-specifieke conventies. Hoewel expliciete rubrics de output van LLMs kunnen sturen, zijn deze criteria vaak niet gedocumenteerd en moeilijk direct van mensen te achterhalen. Bestaande benaderingen om criteria te leren uit menselijk gedrag maken doorgaans gebruik van globale oordelssignalen (bijvoorbeeld tevredenheidsscores of paarwijze voorkeuren) in plaats van de lokale, span-specifieke feedback die in inline-opmerkingen te vinden is.

Dit artikel introduceert Feedback-naar-Rubrics, een nieuwe probleemstelling die het leren van herbruikbare, natuurlijke-taalrubrics formaliseert op basis van opgehoopte inline-opmerkingen op tekstartefacten (bijvoorbeeld door mensen geschreven of door LLMs gegenereerde concepten). De kernuitdaging is om expliciete criteria af te leiden die verklaren wat experts bezighoudt, wanneer ze dit aankaarten en op welk niveau van granulariteit, uitsluitend op basis van observaties van stilzwijgende criteria die in opmerkingen zijn verwerkt.

Methodologie

De voorgestelde methode leert rubrics via een iteratieve lus die bestaat uit opmerkingvoorspellingsgebaseerd leren en opmerking-specifieke verfijning.

1. Definitie van een Rubric

Een rubric in ronde $t$ wordt gedefinieerd als een set natuurlijke-taalcriteria $R_t = \{c_k^{(t)}\}$ . Elk criterium omvat:

Toepassingsvoorwaarden: Wanneer een opmerking moet worden gemaakt in een lokale context.
Criteriatekst: De specifieke zorg en de granulariteit daarvan.
Grenzen: Beperkingen om verwarring met naburige criteria te voorkomen.
Voorbeelden: Representatieve doelcitaten en referentie-opmerkingen.

2. Iteratief Verfijningsproces

De methode werkt in rondes, beginnend met een initiële rubric $R_0$ die is afgeleid uit trainingsdata:

Opmerkingvoorspelling en Evaluatie: Een opmerking-LLM ( $G$ ) genereert opmerkingen voor doelcitaten, geconditioneerd op de huidige rubric $R_t$ . Cruciaal is dat het model zowel de opmerking als het specifieke subset van criteria $C_{ij}^{(t)}$ output dat is gebruikt om deze te genereren. Een evaluatie-LLM ( $J$ ) vergelijkt vervolgens de gegenereerde opmerking met de referentie-opmerking en retourneert een inhoudsscore en een redenering.
Opmerking-specifiek Verfijningssignaal: In tegenstelling tot eerdere werken die gebruikmaken van geaggregeerde signalen, construeert deze methode een verfijningssignaal $h_{ij}^{(t)}$ voor elk geval, waarbij het voorspellingsresultaat wordt gekoppeld aan de specifieke gebruikte criteria. Dit signaal omvat het doelcitaat, de referentie-opmerking, de gegenereerde opmerking, de score, de redenering van de beoordelaar en de geselecteerde criteria.
Rubric-update: Een verfijnings-LLM gebruikt deze opmerking-specifieke signalen om de rubric te updaten naar $R_{t+1}$ . Het onderscheidt tussen te brede criteria, ontbrekende zorgen, onduidelijke grenzen en redundante criteria. Het verfijningsproces stelt het systeem in staat om brede criteria te splitsen, nieuwe toe te voegen voor ontbrekende zorgen, of redundante criteria te samenvoegen, waarbij criteria die goed overeenkomen met referentiegedrag behouden blijven.

Belangrijkste Bijdragen

Probleemformulering: De introductie van Feedback-naar-Rubrics, een setting voor het leren van herbruikbare natuurlijke-taalrubrics op basis van opgehoopte inline-opmerkingen, waarmee de kloof wordt gedicht tussen globaal voorkeursleren en lokale feedback op span-niveau.
Methodologische Innovatie: Een opmerkingvoorspellingsgebaseerde methode die initiële rubrics afleidt en deze verfijnt met behulp van opmerking-specifieke mismatchsignalen. Deze aanpak koppelt specifieke voorspelfouten aan de gebruikte criteria, wat granulaire updates mogelijk maakt aan de toepassingsvoorwaarden en grenzen van de rubric.
Empirische Evaluatie: Een uitgebreide evaluatie over drie downstream-toepassingen:
- Opmerkingvoorspelling: Toetsen of verfijnde rubrics de nauwkeurigheid verbeteren bij het genereren van opmerkingen voor achtergehouden artefacten.
- Rubric-begrip: Kwalitatief inspecteren van de geleerde rubrics en kwantitatief evalueren van hun dekking en precisie ten opzichte van referentierubrics.
- Rubric-geleide Herziening: Beoordelen of geleerde rubrics LLMs helpen om artefacten iteratief te herzien zodat ze beter voldoen aan expertcriteria.

Experimentele Resultaten

De methode is geëvalueerd op negen diverse taken, waaronder real-world beoordelingsdatasets (onderzoeksvoorstellen, essays) en benchmarksettings afgeleid van HealthBench en ExpertLongBench (Bio, Chemical, Cyber, Edu, Health, Material).

Opmerkingvoorspelling: De volledige methode, met gebruik van opmerking-specifieke verfijning, behaalde een gemiddelde inhoudsscore van 4,93, wat beter presteerde dan basismethoden, waaronder op retrieval gebaseerde methoden (Top-3 RAG: 3,97) en generatie zonder rubrics (2,90). Het gebruik van opmerking-specifieke signalen leverde een consistente verbetering op ten opzichte van initiële rubrics en geaggregeerde verfijningssignalen.
Rubric-begrip: Kwantitatieve evaluatie toonde aan dat de verfijnde "Best-val" rubrics de recall (dekking van referentiecriteriën) met gemiddeld +1,17 punten verbeterden over de domeinen heen in vergelijking met initiële rubrics, met een lichte afweging in precisie. Kwalitatieve analyse bevestigde dat de verfijning de dekking uitbreidde om fijnere patronen te omvatten (bijvoorbeeld structurele organisatie, positieve feedback) die ontbraken in de initiële hypothesen.
Artefactherziening: Bij herzieningstaken voldeden artefacten die met de Best-val rubric waren herzien significant meer aan referentiecriteriën (gemiddelde verbetering van +4,30) in vergelijking met de conditie zonder rubric (+3,41) en de conditie met de initiële rubric (+4,03).

Betekenis en Claims

Het artikel claimt dat inline-feedback kan worden gedistilleerd tot herbruikbare, contextafhankelijke criteria die fungeren als effectieve conditioneringssignalen voor LLMs. De betekenis van dit werk ligt in het aantonen dat:

Stilzwijgende criteria kunnen worden geëxternaliseerd: Expertvoorkeuren, vaak niet gedocumenteerd, kunnen worden afgeleid uit opgehoopte inline-opmerkingen en worden georganiseerd in expliciete rubrics.
Lokale signalen drijven globale verbetering: Door gebruik te maken van opmerking-specifieke mismatchsignalen in plaats van globale oordelen, leert de methode rubrics die zijn geworteld in lokale tekstspans, terwijl ze generaliseren over artefacten heen.
Veelzijdigheid: De geleerde rubrics zijn niet beperkt tot het genereren van opmerkingen; ze ondersteunen effectief rubric-begrip en sturen de automatische herziening van artefacten om te aligneren met expertstandaarden.

De auteurs wijzen op beperkingen, waaronder de afhankelijkheid van LLM-gebaseerde evaluatie voor het scoren van opmerkingen, de aanname dat doelcitaten vooraf worden geleverd (in plaats van gezamenlijk te worden gelokaliseerd), en het gebruik van synthetische benchmarkdata voor rubric-gebaseerde evaluatie vanwege het gebrek aan publieke datasets met zowel inline-opmerkingen als referentierubrics.