Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics

Hieronder volgt een uitleg van het artikel, vertaald van academisch jargon naar alledaagse taal met behulp van creatieve analogieën.

Het grote idee: Stop met vragen "Kan het ons misleiden?" en begin met vragen "Kan het leren?"

Stel je voor dat je een kookwedstrijd beoordeelt. De afgelopen 70 jaar is de gouden standaard de Turingtest. In deze test praat een rechter via een chatvenster met een mens en een machine. Als de rechter niet kan vertellen welke welke is, "slaat" de machine.

De auteurs van dit artikel betogen dat dit is alsof je een kok enkel beoordeelt op basis van of hun nepplastiek fruit er echt genoeg uitziet om een proever met een doek over zijn ogen te misleiden. Het gaat om imitatie, niet om daadwerkelijke vaardigheid. Alleen omdat een robot een menselijk gesprek kan nabootsen, betekent dat niet dat hij begrijpt wat hij zegt. Het kan gewoon een zeer goede papegaai zijn.

De auteurs stellen een nieuwe manier voor om AI te beoordelen. In plaats van te vragen: "Kan deze machine doen alsof het een mens is?", zouden we moeten vragen: "Kan deze machine een taal van nul af aan leren, zoals een peuter?"

De kernmetafoor: De peuter versus de bibliotheek

Beschouw huidige Large Language Models (LLM's) zoals ChatGPT als een enorme bibliotheek. Ze hebben bijna elk geschreven boek gelezen. Als je ze een vraag stelt, "begrijpen" ze het antwoord niet per se; ze voorspellen statistisch welke woorden meestal volgen op de woorden die je zei, op basis van alles in de bibliotheek.

De auteurs willen AI testen als een peuter die leert praten.

• De oude manier (Turingtest): Geef de peuter een script en kijk of hij het overtuigend kan reciteren.
• De nieuwe manier (Taalverwerving): Zet de peuter in een kamer met een leraar. Geef hem geen boeken, geen internet en geen vooraf geladen data. De leraar wijst naar een beker en zegt: "Beker." Het kind moet zelf uitvinden wat "beker" betekent door naar de wereld te kijken, vragen te stellen en fouten te maken.

Het artikel betoogt dat ware intelligentie niet gaat over het hebben van alle antwoorden vooraf geladen; het gaat om het vermogen om begrip te verwerven uit ervaring.

Waarom "kleine data" belangrijk is

Het artikel belicht een concept genaamd "Kleine Data".

• Grote Data (Huidige AI): Stel je voor dat je leert fietsen door 10 miljoen uur video te kijken van andere mensen die fietsen. Je kent misschien de theorie, maar je hebt het evenwicht nooit gevoeld.
• Kleine Data (Menselijke AI): Stel je voor dat je leert fietsen door er echt op te stappen, te vallen en het opnieuw te proberen. Je leert uit een paar specifieke, betekenisvolle ervaringen.

De auteurs beweren dat menselijke kinderen taal leren uit relatief weinig voorbeelden ("kleine data") omdat ze geworteld zijn in de realiteit. Ze zien het object, voelen de textuur, zien de sociale signalen. Huidige AI is breekbaar; het faalt gemakkelijk wanneer het wordt geconfronteerd met iets wat het niet heeft gezien in zijn enorme trainingsdata. Een werkelijk intelligent systeem zou snel moeten kunnen aanpassen aan nieuwe situaties met zeer weinig informatie, net als een mens.

De voorgestelde "nieuwe test"

De auteurs schetsen een specifiek kader voor deze nieuwe test. Zo zou het er in de praktijk uitzien:

1. De blanco slate: De AI start zonder vooraf geladen kennis van de taal of de omgeving.
2. De leraar: Een mens (of een andere agent) interacteert met de AI en geeft verbale instructies.
3. De taak: De AI moet zijn omgeving beschrijven, vragen stellen om dingen te verduidelijken en doelen bereiken (zoals een object vinden of een puzzel oplossen) met behulp van alleen de taal die het in real-time leert.
4. De tweede-taaltelling: Zodra de AI de eerste taal beheerst, moet het een tweede, volledig andere taal leren (misschien een zeldzame of niet-gedocumenteerde taal) om te bewijzen dat het niet alleen patronen memoriseert, maar het concept van taal daadwerkelijk begrijpt.
5. Strikte voorwaarden: De test vindt plaats in een gecontroleerde omgeving (zoals een "Faraday-kooi" om externe signalen te blokkeren) om ervoor te zorgen dat de AI niet cheat door antwoorden online op te zoeken.

Belangrijkse vereisten voor de test

Om ervoor te zorgen dat deze test eerlijk en wetenschappelijk is, noemen de auteurs verschillende regels:

• Reproduceerbaarheid: Andere wetenschappers moeten dezelfde test kunnen uitvoeren en vergelijkbare resultaten krijgen.
• Transparantie: Elke interactie, fout en succes moet worden vastgelegd.
• Geen "Clever Hans"-trucs: In de geschiedenis leek een paard genaamd Clever Hans wiskunde te doen, maar hij las eigenlijk subtiele lichaamstaalsignalen van zijn eigenaar. De test moet ervoor zorgen dat de AI daadwerkelijk begrijpt, en niet alleen toevallige hints van de rechters oppikt.
• Welzijn: De test moet ook meten of de AI "bloeit" of zich goed aanpast, niet alleen overleeft.

Het grotere plaatje: Taal als overlevingsinstrument

Het artikel put uit biologie en filosofie om te betogen dat taal niet alleen code is; het is een overlevingsinstrument. Mensen ontwikkelden taal om samen te werken en te overleven. Daarom toont een AI die taal daadwerkelijk kan verwerven een diepere vorm van intelligentie: een die verbonden is met zijn omgeving, in staat is tot sociale interactie en zich kan aanpassen aan verandering.

Samenvatting

Kortom, de auteurs zeggen:
Stop met het testen van AI op hoe goed het zijn kunstmatige aard kan verbergen. Begin met het testen op hoe goed het kan leren, zich kan aanpassen en de wereld om zich heen kan begrijpen, net als een kind.

Ze geloven dat als we onze focus verschuiven van imitatie (menselijk lijken) naar verwerving (leren zoals een mens), we een veel betere, eerlijkere en nuttigere maatstaf krijgen voor wat het betekent dat een machine werkelijk intelligent is.