Technische Samenvatting: Over het benchmarken van mensachtige intelligentie in machines

Probleemstelling

Het artikel behandelt een kritieke tekortkoming in de evaluatie van kunstmatige intelligentie (AI)-systemen: huidige benchmarks zijn vaak onvoldoende om te beoordelen of modellen beschikken over mensachtige cognitieve vermogens. Hoewel recente AI-modellen een hoge prestatie leveren op diverse taken, betogen de auteurs dat bestaande evaluatieparadigma's er niet in slagen de kwalitatieve gelijkenissen tussen menselijke en machinale cognitie vast te leggen.

Het kernprobleem is dat standaard benchmarks steunen op:

1. Gebrek aan door mensen gevalideerde labels: Veel datasets gebruiken enkelvoudige "ground-truth" labels afgeleid van curatoren of meerderheidsstemmen, waarbij de werkelijke distributie van menselijke reacties wordt genegeerd.
2. Onvoldoende representatie van variabiliteit: Benchmarks negeren vaak de variabiliteit en onzekerheid in menselijke reacties, waarbij cognitieve taken worden behandeld alsof ze een enkele objectieve oplossing hebben, zelfs wanneer ze inherent subjectief zijn (bijv. moreel redeneren, detectie van humor).
3. Ecologische ongeldigheid: Taken zijn vaak te vereenvoudigd en missen de complexiteit, ambiguïteit en contextuele nuance van scenario's uit de echte wereld.

De auteurs maken een onderscheid tussen menselijk niveau van intelligentie (het bereiken van kwantitatieve gelijkwaardigheid of het overtreffen van menselijke nauwkeurigheid) en mensachtige intelligentie (het vertonen van kwalitatieve gelijkenis in cognitieve patronen, inclusief foutprofielen, onzekerheidsdistributies en gegradeerde overtuigingen). Zij stellen dat huidige instrumenten deze concepten met elkaar verwarren, wat kan leiden tot een verkeerde karakterisering van AI-capaciteiten.

Methodologie

Om hun beweringen te onderbouwen, voerden de auteurs een menselijke evaluatiestudie uit op negen bestaande AI-benchmarks die bekendstaan om het vereisen van common-sense en Theory of Mind (ToM) redeneren.

• Geselecteerde benchmarks: Zeven taken uit BIG-Bench (Srivastava et al., 2022) die sociale IQA, morele toelaatbaarheid, ethische vragen, sociale ondersteuning, ironie-identificatie, zwarte humor en fantasieredeneren beslaan; plus BigToM en ToMBench voor Theory of Mind-redeneren.
• Gegevensverzameling:
  • Deelnemers: 117 deelnemers geworven via Prolific.
  • Stimuli: 30 stimuli willekeurig gesampled uit elk van de 9 benchmarks (totaal 2.685 geannoteerde trials).
  • Procedure: In plaats van de standaard meerkeuze selectie gebruikten deelnemers een 0–100 schuifregelaar om elk antwoordoptie te beoordelen (bijv. "eens" tot "oneens").
  • Onzekerheidsmeting: Na elke beoordeling rapporteerden deelnemers hun vertrouwen op een aparte 0–100 schaal. Dit ontwerp met twee maten scheidt gegradeerde oordelen (graad van overtuiging) van epistemische onzekerheid (vertrouwen in dat oordeel).
• Analyse: De auteurs vergeleken menselijke responsdistributies en vertrouwensniveaus met de oorspronkelijke benchmark ground-truth labels en kansniveaus.

Belangrijkste bevindingen

De menselijke her-annotatie onthulde significante discrepanties tussen de standaard benchmark labels en daadwerkelijk menselijk gedrag:

1. Lage overeenkomst met Ground Truth: Over de negen benchmarks was de menselijke nauwkeurigheid (overeenkomst met het enkelvoudige label van de benchmark) gemiddeld 69,7%.
   • Sommige taken presteerden onder het kansniveau (bijv. Social support op 45% t.o.v. 50% kans).
   • Significante onenigheid werd gevonden in Moral permissibility (72% overeenkomst), Irony identification (73% overeenkomst) en Social IQA (68% overeenkomst).
   • Alleen Simple ethical questions vertoonde een hoge overeenkomst (88%).
2. Gegradeerde overtuigingen vs. binaire labels: Menselijke reacties waren zelden binair. Deelnemers gaven frequent intermediaire beoordelingen (bijv. een gemiddelde score van 69,4 op een 0–100 schaal voor een stimulus gelabeld als "niet-ondersteunend"), wat wijst op gegradeerde overtuigingen die binaire labels niet kunnen vangen.
3. Gestructureerde onzekerheid: Deelnemers rapporteerden variërende graden van vertrouwen. In taken zoals Social support en Moral permissibility waren lage vertrouwensscores gebruikelijk, maar in andere gevallen (bijv. Irony identification) toonden deelnemers een hoog vertrouwen in uiteenlopende standpunten. Dit suggereert dat variabiliteit vaak gestructureerde onenigheid is in plaats van louter ruis of verwarring.
4. Beperkingen van het huidige ontwerp: De studie toont aan dat het vertrouwen op enkelvoudige ground-truth labels een misleidende standaard van vergelijking introduceert, die faalt om de distributionele aard van de menselijke cognitie te modelleren.

Belangrijkste bijdragen en aanbevelingen

Het artikel doet vijf concrete aanbevelingen, afgeleid van best practices uit de cognitieve wetenschap, om toekomstige AI-benchmarking te verbeteren:

1. Meten tegen werkelijke mensen: Ground-truth labels voor "mensachtige" AI moeten responsdata zijn verzameld van mensen, niet slechts gecureerde antwoorden. Dit is essentieel voor subjectieve taken waar geen enkel objectief antwoord bestaat.
2. Evalueren tegen populatiedistributies: Modellen moeten worden geëvalueerd tegen de volledige distributie van menselijke oordelen (soft labels) in plaats van meerderheidsstemmen (hard labels). Metrieken moeten vergelijkingen van waarschijnlijkheidsdistributies bevatten (bijv. KL-divergentie, Wasserstein-afstanden) om ervoor te zorgen dat modellen de populatie-variabiliteit en subpopulaties vatten.
3. Beoordelen van gegradeerdheid en onzekerheid: Benchmarks moeten gegradeerde oordelen en vertrouwen oproepen en meten van individuele annotatoren. Dit vangt de nuance van menselijke besluitvorming en de inherente onzekerheid in menselijk redeneren, die binaire keuzes maskeren.
4. Taken funderen in meta-theorie: Benchmarkontwerp moet beginnen met een meta-theorie van het cognitieve construct (het definiëren van subcomponenten en observeerbare signaturen), in plaats van het simpelweg aanpassen van psychologische tests (bijv. de Sally-Anne test) die mogelijk besmet zijn door trainingsdata of een gebrek aan constructvaliditeit voor AI hebben.
5. Ontwerpen van cognitief rijke taken: Taken moeten natuurlijk gedrag oproepen door meerdere cognitieve processen te integreren, gebruik te maken van systematische ablatie (het onthouden van context) en gestructureerde ambiguïteit te bevatten. Dit gaat verder dan vereenvoudigde Vraag-Antwoord formaten om te beoordelen hoe AI omgaat met de complexiteit en onzekerheid van de echte wereld.

Betekenis en reikwijdte

De auteurs positioneren dit werk als een oproep tot actie voor zowel cognitieve wetenschappers als AI-onderzoekers om evaluatiepraktijken af te stemmen op rigoureuze cognitieve modellering.

• Wetenschappelijke waarde: Een rigoureuze vergelijking van machine- en menselijke intelligentie over foutpatronen, biases en onzekerheid is essentieel voor het begrijpen van de aard van beide.
• Praktische waarde: Voor subjectieve taken (moreel redeneren, sociale gepastheid, humor), waar geen normatieve standaard van correctheid bestaat, is een mensachtige distributionele evaluatie noodzakelijk. Omgekeerd, voor taken met normatieve standaarden (bijv. wiskunde, eiwitvouwing), kan het nabootsen van menselijke foutpatronen contraproductief zijn; de aanbevelingen van het artikel zijn niet bedoeld voor die domeinen.
• Beperkingen: De auteurs erkennen dat het verzamelen van hoogwaardige menselijke data intensief is en dat de overdraagbaarheid van door mensen afgeleide meta-theorieën naar AI-systemen een openstaande vraag blijft. Zij beweren niet dat AI alle menselijke cognitieve beperkingen (bijv. schadelijke biases) moet repliceren, maar stellen dat het begrijpen van de structuur van menselijke variabiliteit essentieel is voor het bouwen van veilige, collaboratieve en interpreteerbare AI-partners.

Het artikel concludeert dat het bereiken van een echt begrip van "mensachtige" AI vereist dat we verder gaan dan eenvoudige nauwkeurigheidsmetrieken naar een raamwerk dat waarde hecht aan variabiliteit, onzekerheid en ecologische validiteit, sterk leunend op decennia aan onderzoek in de cognitieve wetenschap.