Accuracy and Order Sensitivity Diverge Under Label-Free Strategies
Dit artikel toont aan dat hoewel het voorkomen dat grote taalmodellen de optielabels zien tijdens het beantwoorden van meerkeuzevragen de positionele bias succesvol elimineert, dit de nauwkeurigheid niet verbetert en de prestaties vaak verslechtert, wat onthult dat de primaire flessenhals het achterhouden van opties is in plaats van het koppelingsmechanisme.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een meerkeuzetoets maakt in een klaslokaal. Je weet het antwoord, maar de docent heeft de volgorde van de keuzes op het blad gehusseld. Plotseling kies je het verkeerde lettertype, niet omdat je de feiten bent vergeten, maar omdat je hersenen in de war raakten door de nieuwe arrangement. Dit is de vreemde wereld van Large Language Models (LLM's)—superintelligente computerprogramma's die chatten en schrijven als mensen. Wetenschappers gebruiken meerkeuzevragen om te testen hoeveel deze modellen "weten", maar ze hebben een glitch ontdekt: de modellen gedragen zich vaak als nerveuze studenten die te gevoelig zijn voor waar de antwoorden op de pagina staan. Als de keuzes worden vermeld als A, B, C, D, kan het model het goed hebben; hussel je ze om naar B, A, D, C, en kan het model het fout hebben. Dit maakt de testscores onbetrouwbaar, omdat we niet kunnen zien of het model echt slim is of gewoon goed is in het raden van het patroon van de letters. Onderzoekers willen dit oplossen zodat we de AI-modellen echt kunnen vertrouwen.
In dit artikel besloten twee wetenschappers van Queen's University Belfast, Karl Hanna en Chen Feng, een slim idee te testen om dit "husselprobleem" op te lossen. Ze vroegen zich af: wat als we het model eerst het antwoord in gewoon Engels laten opschrijven, zonder de meerkeuzeopties überhaupt te zien? Dan zouden we in een tweede stap het model kunnen vragen om zijn eigen geschreven antwoord te matchen met de juiste letter. Het is also als een student vragen om het antwoord op een kladblaadje te schrijven, en hem dan pas het toetsblad te geven om later het juiste vakje in te kleuren. De hoop was dat door de opties tijdens de denkfase te verbergen, het model niet beïnvloed zou kunnen worden door hun volgorde. Ze probeerden ook een tweede methode waarbij het model elke optie één voor één in isolatie bekijkt, zoals het proeven van een enkel ingrediënt voordat men een recept bepaalt, in de hoop dat dit de bias veroorzaakt door de volgorde van de ingrediënten zou wegnemen.
De resultaten waren echter een beetje een teleurstelling. De onderzoekers testten deze methoden op zes verschillende AI-modellen over twee grote vraagensets (MMLU en ARC-Challenge). Ze kwamen tot de conclusie dat geen van hun "label-vrije" strategieën de modellen betrouwbaar slimmer maakte. Sterker nog, de "eerst schrijven, later matchen"-methode maakte de modellen in bijna alle gevallen zelfs slechter in het geven van het juiste antwoord. Het bleek dat het verbergen van de opties het echte probleem was; zonder de keuzes te zien, konden de modellen niet uitzoeken hoe ze hun antwoorden correct moesten formuleren, wat leidde tot veel verwarring en fouten. De enige versie die even goed werkte als de standaardtest, was een versie waarbij het model de opties nog wel kon zien tijdens het denken.
Nog verrassender was de ontdekking van de wetenschappers dat het minder gevoelig maken van de modellen voor de volgorde van de antwoorden niet automatisch hun nauwkeurigheid verhoogde. Bijvoorbeeld, één model werd veel minder verward door de gehusselde letters, maar de testscore daalde nog steeds. Het is als een student die stopt met gokken op basis van de volgorde van de letters, maar nog steeds niet de stof goed genoeg beheerst om een beter cijfer te halen. Het paper concludeert dat het simpelweg verwijderen van de "positionele bias" (de verwarring veroorzaakt door waar antwoorden geplaatst zijn) niet garandeert dat een hogere score wordt behaald. Sterker nog, de traditionele methode van het husselen van de antwoorden en het nemen van een stemming (genaamd cyclic permutation) werkte eigenlijk beter dan deze chique nieuwe trucjes. De belangrijkste les is dat hoewel we de bias kunnen oplossen, dat niet altijd betekent dat het model slimmer wordt, en dat het soms te slim spelen met het testontwerp simpelweg het vermogen van het model om antwoord te geven, kapot maakt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.