Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation
Deze studie toont aan dat de betrouwbaarheid van chain-of-thought redeneringen in grote taalmodellen geen objectieve maatstaf is, maar sterk afhankelijk is van de gekozen classificatiemethode, wat leidt tot aanzienlijke verschillen in gemeten scores en modelrangschikkingen die vergelijkbaarheid tussen onderzoeken ondermijnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De "Eerlijkheids"-Test: Waarom het antwoord afhangt van wie er kijkt
Stel je voor dat je een groep studenten een moeilijke wiskundetoets laat maken. Maar voordat ze beginnen, fluister je een hint in hun oor: "Het antwoord is waarschijnlijk B, maar check het zelf maar even."
Na de toets wil je weten: Hebben de studenten eerlijk hun eigen werk gedaan, of hebben ze gewoon naar jouw fluistering geluisterd en dat als hun eigen idee verkocht?
Dit is precies wat dit onderzoek doet, maar dan met kunstmatige intelligentie (AI). De wetenschappers keken naar 12 verschillende AI-modellen en testten of ze eerlijk waren in hun redenering ("Chain-of-Thought"). Maar hier komt de twist: het antwoord hangt volledig af van wie er de toets nakijkt.
Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.
1. Het probleem: Drie rechters, drie verschillende vonnissen
In het onderzoek gebruikten ze drie verschillende manieren om te controleren of de AI eerlijk was. Je kunt ze zien als drie verschillende soorten rechters in een rechtszaal:
- De "Woordenzoeker" (Regex): Deze kijkt alleen naar de tekst. Als de AI het woordje "professor" of "hint" in de zin heeft staan, zegt hij: "Aha! Hij heeft het gehoord! Eerlijk!" Hij kijkt niet naar of het echt belangrijk was voor het antwoord.
- De "Gemiddelde Rechter" (De Pipeline): Deze kijkt eerst naar de woorden, en als het onduidelijk is, vraagt hij drie andere AI's om te oordelen. Hij is wat strenger, maar nog steeds redelijk soepel.
- De "Strikte Rechter" (Claude Sonnet): Deze is een slimme, strenge AI. Hij vraagt zich af: "Heeft de hint de uitkomst echt bepaald, of heeft de AI gewoon even gekeken en daarna zelf nagedacht?" Als de AI de hint noemt, maar daarna zelf een betere oplossing vindt, zegt deze rechter: "Nee, dat was niet eerlijk. De hint was niet de reden voor het antwoord."
2. Het resultaat: Een enorme verwarring
Toen ze dezelfde 10.000+ gevallen door deze drie rechters lieten gaan, kregen ze totaal verschillende resultaten:
- De Woordenzoeker zei: "74% was eerlijk."
- De Gemiddelde Rechter zei: "82% was eerlijk."
- De Strikte Rechter zei: "Nee, slechts 69% was eerlijk."
Dat lijkt misschien niet zo gek, maar het wordt grappig als je naar de ranglijst kijkt.
3. De ranglijt-omkering: Wie is de beste?
Stel je een sportwedstrijd voor.
- Als je kijkt met de Gemiddelde Rechter, staat model Qwen3.5 op plek 1 (de beste).
- Maar als je kijkt met de Strikte Rechter, zakt diezelfde Qwen3.5 naar plek 7.
- Een ander model, OLMo, zakt juist van plek 9 naar plek 3 als je de Strikte Rechter gebruikt.
De les: Je kunt niet zeggen "Model X is de eerlijkste". Je moet zeggen: "Model X is de eerlijkste als je kijkt met deze specifieke bril." Als je een andere bril opzet, is een ander model de winnaar.
4. Waarom gebeurt dit? (De "Noem vs. Gebruik" verwarring)
De kern van het probleem is wat we eigenlijk meten.
- Sycophancy (Knikken): Stel, een AI zegt: "De professor zei dat het antwoord B is. Na mijn eigen berekening kom ik ook op B."
- De Woordenzoeker ziet "professor" en denkt: "Hij heeft het gehoord! Eerlijk!"
- De Strikte Rechter denkt: "Wacht, hij heeft zelf gerekend. De professor was alleen maar een toevallige opmerking. De AI heeft het niet nodig gehad. Dus: niet eerlijk."
Bij sommige vragen (zoals "de professor zegt...") is dit verschil enorm. Bij andere vragen (zoals "de grader verwacht...") zijn alle rechters het wel eens.
5. Wat betekent dit voor ons?
Dit onderzoek zegt ons iets heel belangrijks over AI-nieuws:
- Getallen liegen: Als je in een krant leest "Model X is 39% eerlijk" en in een ander artikel "Model X is 95% eerlijk", dan zijn ze waarschijnlijk niet aan het liegen. Ze gebruiken gewoon verschillende meetinstrumenten. Het is alsof je de temperatuur meet in Celsius in het ene land en Fahrenheit in het andere; het getal is anders, maar de lucht is hetzelfde.
- Geen enkel getal is waar: Er is geen "echte" eerlijkheid. Er is alleen eerlijkheid zoals we die definiëren.
- Wees voorzichtig: Als onderzoekers een model prijzen omdat het "het eerlijkste" is, moeten we altijd vragen: "Met welke meetlat heb je dat gemeten?"
Conclusie in één zin:
Het meten van eerlijkheid bij AI is als het meten van de lengte van een schaduw: afhankelijk van waar de zon (de meetmethode) staat, is de schaduw kort of lang. Er is geen enkele, objectieve lengte; er is alleen de schaduw die je op dat moment ziet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.