Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets
Dit artikel toont aan dat hoewel grote taalmodellen uitblinken in het beoordelen of kandidaten tot een correcte verzameling behoren, ze aanzienlijk falen in het construeren van volledige acceptabele verzamelingen vanwege een systematische neiging tot stille weglatingen in plaats van overmatige inclusie, een tekort dat standhoudt in diverse domeinen en parameterschalen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Rolomdraaiing: Wanneer AI de Leraar Wordt
Stel je een klaslokaal voor waar de leerlingen niet langer alleen vragen beantwoorden; ze schrijven de tekstboeken, beoordelen de examens en bepalen wat als een "correct" antwoord telt. Dit gebeurt op dit moment in de wereld van kunstmatige intelligentie. Large Language Models (LLM's) worden gepromoveerd van "examens" (degenen die de toets maken) naar "examinaatoren" (degenen die de toets maken). Ze schrijven de regels, de antwoordsleutels en de checklists die andere AI-systemen vertellen of ze hun werk goed doen.
Om te begrijpen waarom dit lastig is, denk aan twee verschillende vaardigheden. De eerste is Beoordelen: kijken naar één enkel antwoord en zeggen: "Ja, dat is juist," of "Nee, dat is onjuist." De tweede is Auteur zijn: het vanaf nul creëren van de volledige lijst van elk mogelijk juist antwoord. Het is het verschil tussen een scheidsrechter die een fluitje blaast wanneer een speler buiten de lijnen stapt, en een coach die probeert een regelboek te schrijven waarin elke mogelijke manier staat beschreven waarop een speler uit de lijnen zou kunnen stappen zonder ook maar één enkele manier te missen. We geven hierom omdat als de AI die de toets schrijft een fout maakt, het niet alleen één vraag fout heeft; het verandert de definitie van "correct" voor iedereen, wat potentieel goede antwoorden straft en slechte antwoorden beloont.
De Grote Ontdekking van het Papier: De Stille Geest in de Machine
Dit onderzoek onderzoekt een vreemde en gevaarlijke glitch in hoe AI deze nieuwe rollen hanteert. De onderzoekers ontdekten dat hoewel AI-modellen eigenlijk heel goed zijn in Beoordelen (zien of een specifiek antwoord juist of onjuist is), ze verrassend slecht zijn in Auteur zijn (het uitschrijven van de volledige lijst van alle juiste antwoorden).
Denk aan een spelletje "Simon zegt". Als je de AI vraagt: "Is 'appel' een vrucht?", zal hij bijna altijd correct "Ja" zeggen. Maar als je hem vraagt: "Lijst elke bestaande vrucht op," zal hij appels en bananen gaan opsommen, maar dan... stopt hij gewoon. Hij vergeet de sinaasappels, de kiwi's en de mango's. Hij vergeet ze niet omdat hij ze niet kent; hij vergeet ze omdat hij slecht is in de specifieke taak van het volledig opschrijven van de lijst.
De auteurs noemen dit de "Judging-Enumerating Scissors" (de Beoordelende-Opsommende Schaar). Stel je een schaar voor waarbij het ene blad "Beoordelen" is (scherp en sterk) en het andere blad "Auteur zijn" (bot en zwak). Naarmate de AI-modellen groter en slimmer worden (opschalen van klein naar massaal), wordt het "Beoordelen"-blad scherper, maar het "Auteur zijn"-blad wordt nauwelijks scherper. Ze halen elkaar nooit in. De kloof tussen hoe goed ze kunnen beoordelen en hoe goed ze kunnen opsommen, blijft groot, ongeacht hoeveel rekenkracht je ze geeft.
De Stille Geest: Waarom We de Fouten Niet Opmerken
Het meest angstaanjagende deel van deze ontdekking is hoe de AI faalt. Wanneer de AI een lijst met juiste antwoorden schrijft, voegt hij meestal geen valse antwoorden toe (zoals een "rots" als vrucht benoemen). In plaats daarvan maakt hij zich schuldig aan Stille Omissies (het weglaten van zaken). Hij laat simpelweg de echte antwoorden weg.
Dit is waarom dat zo gevaarlijk is:
- Over-inclusie (Foutieve dingen toevoegen): Als de AI per ongeluk "rots" aan de vruchtenlijst toevoegt, kan een menselijke beoordelaar dit gemakkelijk opmerken. "Hé, rotsen zijn geen vruchten!" zeggen ze. Het is een zichtbare fout.
- Omissie (Juiste dingen weglaten): Als de AI "kiwi" vergeet te vermelden, is er geen fout te zien. De lijst ziet er gewoon wat korter uit. Om de ontbrekende kiwi te vinden, moet de beoordelaar het antwoord zelf weten en er dan naar op zoek gaan.
Het papier laat zien dat AI-modellen 6 tot 7 keer beter zijn in het opsporen van dingen die ze per ongeluk hebben toegevoegd dan in het beseffen dat ze iets over het hoofd hebben gezien. Het is als een student die geweldig is in het vinden van typefouten in zijn essay, maar verschrikkelijk is in het beseffen dat hij de conclusie is vergeten. Omdat de ontbrekende delen onzichtbaar zijn, eindigen de "antwoordsleutels" van de AI incompleet, en eindigen de AI-systemen die op basis van die sleutels beoordelen, met het straffen van correcte antwoorden simpelweg omdat ze niet op de lijst stonden.
De "Magische Regel" Loopholes
De onderzoekers testten een slimme workaround. Ze vroegen de AI niet om de vruchten op te sommen, maar om de regel te schrijven voor wat een vrucht een vrucht maakt (bijv. "Als het aan een boom groeit en zaden heeft"). Wanneer ze dit deden, werd de AI bijna perfect (scorede 99% nauwkeurigheid).
Dit bewijst dat de AI niet dom is. Hij kent de regels. Het probleem zit puur in de handeling van het opsommen van de lijst. Het is als een chef-kok die het recept voor een taart perfect kan beschrijven, maar telkens vergeet de laatste drie ingrediënten op te schrijven wanneer er om een volledige boodschappenlijst wordt gevraagd. Het papier laat zien dat als je de AI de regel kunt laten schrijven in plaats van de lijst, het probleem verdwijnt. Maar in veel praktijksituaties (zoals het schrijven van een testsuite voor computercode) is er geen eenvoudige regel te schrijven; je moet de specifieke testgevallen opsommen, en dat is waar de AI struikelt.
Waarom "Zijn Eigen Werk Controleren" Niet Helpt
Je zou kunnen denken: "Nou, als de AI slecht is in het opsommen, kan hij dan niet gewoon zijn eigen lijst controleren om de fouten te herstellen?" De onderzoekers hebben dit ook getest. Ze lieten de AI een lijst genereren, daarna een tweede lijst, en vervolgens de eerste lijst filteren met behulp van de tweede.
Het resultaat? Het werkte niet. De AI kon zijn eigen missers niet herstellen. Het is also als een persoon die slecht is in tellen, vragen om zijn eigen vingers te tellen om te zien of hij er een is vergeten. De "beoordelingsvaardigheid" van de AI is sterk wanneer hij kijkt naar een duidelijke, vooraf gemaakte lijst, maar stort in wanneer hij probeert zijn eigen rommelige, zelf gegenereerde lijst te beoordelen. Het papier concludeert dat het vragen aan een AI om zijn eigen antwoordsleutel te controleren een valstrik is; het heeft een externe, door mensen geverifieerde "gouden standaard" nodig om de ontbrekende stukjes te vangen.
De Kosten in de Wereld van de Praktijk: De "Belasting" op AI
Ten slotte mat het papier wat er gebeurt wanneer deze gebroken antwoordsleutel wordt gebruikt om andere AI's te trainen. Ze stelden een scenario op waarin een AI leert door punten te krijgen voor correcte antwoorden.
- Wanneer de AI een perfecte, door mensen gemaakte sleutel gebruikte, leerde hij goed.
- Wanneer hij een door een model gemaakte sleutel gebruikte, leerde hij aanzienlijk slechter.
In een specifieke taaltaak scoorde de AI die de door een model gemaakte sleutel gebruikte 18,5 punten lager dan de AI met de perfecte sleutel. Zelfs bij een wiskundige taak waar de regels eenvoudig waren, verloor het nog steeds 1,9 punten. Deze "belasting" vindt plaats omdat de door een model gemaakte sleutel te strikt is: het wijst goede antwoorden af die de AI wel genereerde, maar die de AI vergeten was op te nemen in zijn eigen lijst. De AI raakt in de war, denkt dat zijn correcte antwoorden fout zijn, en stopt met proberen creatief te zijn.
De Conclusie
Het papier zegt niet dat AI nutteloos is. Het zegt dat wanneer we AI vragen om de "examinator" te zijn en de regels van juistheid te schrijven, we zeer voorzichtig moeten zijn.
- Vraag niet om de lijst; vraag om de regel. Als de AI een regel kan schrijven (zoals een Python-script) om antwoorden te controleren, gebruik dat dan. Dat is bijna perfect.
- Vertrouw een lijst niet blindelings. Als de AI een lijst met juiste antwoorden moet schrijven, zal hij er vrijwel zeker enkele missen.
- Gebruik een "Poortwachter". Voordat je een antwoordsleutel van een AI vertrouwt, controleer dan of deze een bekende correcte waarde accepteert. Als hij een bekend correct antwoord afwijst, gooi de sleutel dan weg.
- Herstel, in plaats van weggooien. Als de sleutel een correct antwoord afwijst, kun je vaak gewoon de specifieke fout herstellen (zoals de verwachte output van een test) in plaats van het hele ding weg te gooien.
De kernboodschap: AI is goed in het opsporen van fouten, maar slecht in het garanderen dat het niets over het hoofd heeft gezien. Totdat we dit probleem van "stille omissies" oplossen, kunnen we de AI niet volledig vertrouwen om zijn eigen huiswerk te nakijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.