Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation
Dit artikel identificeert "rubric interference" als een consistentieprobleem bij multi-rubric LLM-evaluatie en stelt Self-Anchored Rubric Alignment (SARA) voor, een on-policy self-distillatiemethode die single-rubric oordelen gebruikt als stabiele ankers om de evaluatieconsistentie over datasets en modelfamilies heen aanzienlijk te verbeteren zonder externe supervisie.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne landschap van kunstmatige intelligentie zijn grote taalmodellen geëvolueerd van eenvoudige tekstgeneratoren naar geavanceerde beoordelaars. Ze krijgen steeds vaker de taak om het werk van andere machines te beoordelen, waarbij ze fungeren als geautomatiseerde rechters voor alles van medisch advies tot wetenschappelijke redenering. Om deze oordelen eerlijk en gedetailleerd te maken, zijn onderzoekers afgestapt van het geven van één enkele algemene score. In plaats daarvan gebruiken ze checklists, bekend als rubrieken, die een reactie opdelen in specifieke, verifieerbare onderdelen zoals veiligheid, nauwkeurigheid of volledigheid. Het doel is om het model elk item op de lijst onafhankelijk te laten controleren, zodat een reactie veilig is, zelfs als deze niet perfect accuraat is, of accuraat is, zelfs als deze niet perfect veilig is. Deze aanpak belooft een niveau van diagnostische helderheid dat een enkel getal niet kan bieden, waardoor ontwikkelaars precies kunnen zien waar een systeem slaagt of faalt.
Echter, een nieuwe studie onthult een subtiele maar significante fout in de manier waarop deze geautomatiseerde rechters opereren wanneer ze geconfronteerd worden met meerdere checklist-items tegelijkertijd. Hoewel de modellen uitstekend zijn in het evalueren van één item in isolatie, verandert hun oordeel wanneer ze wordt gevraagd om meerdere items gelijktijdig in één passage te evalueren. De onderzoekers ontdekten dat de aanwezigheid van andere items op de checklist de beoordeling van een enkel item verstoort. Een oordeel over veiligheid kan verschuiven simpelweg omdat een vraag over nauwkeurigheid aan de lijst is toegevoegd, of omdat de volgorde van de vragen is gehusseld. Dit fenomeen, dat de auteurs 'rubric interference' (rubriekinterferentie) noemen, betekent dat dezelfde reactie verschillende cijfers kan krijgen afhankelijk van de context van de andere gestelde vragen, wat de betrouwbaarheid van het geautomatiseerde evaluatiesysteem ondermijnt.
Om dit aan te pakken, ontwikkelde een team van onderzoekers van Peking University en Tencent een methode om de modellen te trainen om deze afleidingen te negeren. Ze ontdekten dat hoewel een model moeite heeft met het gezamenlijk beoordelen van meerdere items, het verrassend stabiel en consistent blijft wanneer het elk item alleen beoordeelt. Ze gebruikten deze stabiliteit als leidraad. De onderzoekers creëerden een trainingsproces waarbij het model in één keer een volledige evaluatie van alle items genereert, maar vervolgens zijn redenering voor elk item vergelijkt met een "leraar"-versie van zichzelf die datzelfde item in isolatie had geëvalueerd. Door de gezamenlijke redenering van het model af te stemmen op zijn eigen stabiele, geïsoleerde oordelen, leerden ze het model zich te concentreren op de specifieke criteria van elk item zonder beïnvloed te worden door de aanwezigheid van de anderen. Deze techniek, die zij 'self-anchored rubric alignment' (zelfgeankerde rubriekafstemming) noemen, stelt het model in staat om een verenigd rapport te produceren dat net zo consistent is alsof het elk vakje afzonderlijk had aangevinkt.
De resultaten van deze aanpak werden getest op drie verschillende datasets die medische gesprekken, algemene instructie-opvolging en wetenschappelijke vragen beslaan, met behulp van verschillende modelfamilies. De bevindingen toonden een opmerkelijke verbetering in consistentie. Zo werd op een dataset met wetenschappelijke vragen het percentage monsters waarbij het model exact hetzelfde oordeel gaf of de items samen of afzonderlijk controleerde, bijna verdrievoudigd na de training. De modellen werden veel minder gevoelig voor het aantal items op de checklist; waar de ongetrainde modellen van mening veranderden naarmate de lijst langer werd, behielden de getrainde modellen een constante standaard. Ze werden ook robuuster tegen de volgorde van de vragen, waardoor ze hun oordeel niet langer veranderden simpelweg omdat de checklist werd gehusseld.
Cruciaal is dat de onderzoekers bevestigden dat deze toegenomen consistentie niet ten koste ging van de nauwkeurigheid. De getrainde modellen werden niet slechts robotachtig in hun overeenstemming; ze bleven net zo goed als de oorspronkelijke modellen in het bepalen of een reactie daadwerkelijk nuttig of correct was. Sterker nog, door de verwarring veroorzaakt door de interferentie te verwijderen, presteerden de modellen soms zelfs beter tegen externe standaarden. De studie toonde ook aan dat de geleerde vaardigheid algemeen is. Een model dat getraind is op één type dataset, kon deze nieuwe vaardigheid toepassen op een volledig ander type dataset zonder verdere training, wat suggereert dat het een fundamentele manier heeft geleerd om zijn redenering te scheiden, in plaats van alleen specifieke antwoorden te memoriseren.
Het mechanisme achter deze verbetering werd getraceerd via de interne aandachtspatronen van het model. Wanneer het ongetrainde model meerdere items evalueerde, lekte de focus van het ene item naar het andere, waardoor de analyse van één punt werd beïnvloed door de redenering van een ander punt. Na de training werd deze lekkage aanzienlijk verminderd. Het model leerde de aandacht bijna uitsluitend te richten op het specifieke item dat het op dat moment analyseert, waardoor de ruis van de andere items op de lijst effectief werd geblokkeerd. Deze verschuiving stelde het model in staat om een heldere, onafhankelijke lijn van redenering voor elk criterium te behouden, zelfs terwijl het ze allemaal tegelijkertijd verwerkte.
De implicaties van dit werk strekken zich uit tot hoe kunstmatige intelligentiesystemen worden geëvalueerd en verbeterd. Nu deze modellen steeds vaker worden gebruikt om feedback te geven voor het trainen van andere systemen, is de betrouwbaarheid van die feedback van cruciaal belang. Als de rechter inconsistent is, wordt het trainingssignaal ruisachtig en onbetrouwbaar. Door aan te tonen dat rubric interference een echt en systematisch probleem is, en door een methode te bieden om dit te herstellen zonder menselijke annotatoren nodig te hebben om de juiste antwoorden te verstrekken, biedt de studie een praktisch pad vooruit. Het suggereert dat geautomatiseerde evaluatie robuuster en betrouwbaarder kan worden gemaakt, wat ervoor zorgt dat de feedbackloop die de volgende generatie kunstmatige intelligentie aandrijft, gebouwd is op een fundament van stabiele en consistente oordeelsvorming.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.