Behaviour Is an Incomplete Measure of Reasoning Development: Cross-surface pre-arrival accessibility and the limits of developmental inference in a recurrent-depth reasoner
Dit artikel toont aan dat in een recurrente diepte-redeneerder interne verborgen-toestand-probes redeneercapaciteiten kunnen detecteren lang voordat deze zich manifesteren in observeerbaar gedrag, wat onthult dat gedragsdrempels en decoder-toegankelijkheid onderscheidende, incomplete maten zijn van de werkelijke ontwikkelingslijn van redeneren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het snel evoluerende veld van kunstmatige intelligentie worden onderzoekers vaak geconfronteerd met een fundamentele vraag: wanneer leert een machine eigenlijk iets? Jarenlang was het standaardantwoord gedragsmatig. Als een computerprogramma een vraag kan beantwoorden die het nog nooit eerder heeft gezien, gaan we ervan uit dat het de vereiste redeneervaardigheid heeft verworven om dat te kunnen doen. We kijken naar de output, het uiteindelijke antwoord, en verklaren de capaciteit aanwezig. Deze benadering behandelt de geest van de machine echter als een black box, uitgaande van de veronderstelling dat op het moment dat het juiste antwoord verschijnt, het interne proces van het uitzoeken ervan net moet hebben plaatsgevonden. Dit artikel daagt die aanname uit door in de machine te kijken terwijl deze nog aan het leren is, en vraagt zich af of het vermogen om een probleem op te lossen intern al bestaat lang voordat de machine in staat is dit naar buiten toe te tonen. De onderzoekers kijken niet alleen naar wat de machine doet; ze meten wat de machine weet, zelfs wanneer de machine dit nog niet kan bewijzen.
Om de inzet te begrijpen, stel je voor dat je een nieuwe taal probeert te leren. Je besteedt misschien maanden aan het memoreren van woordenschat en grammatica regels, maar slaagt er nog steeds niet in om een gesprek te voeren. Een leraar die alleen naar je spraak luistert, zou kunnen concluderen dat je niets hebt geleerd. Maar als je in je brein zou kunnen kijken, zou je kunnen ontdekken dat de neurale paden voor de taal al aan het vormen zijn, wachtend op een laatste vonk om ze te verbinden. Dit is de kloof die de onderzoekers onderzochten. Ze bouwden een gespecialiseerd computermodel dat ontworpen is om logische puzzels op te lossen die betrekking hebben op ketens van relaties, zoals uitzoeken wie met wie verwant is in een stamboom. Ze trainden dit model met twee verschillende methoden: één waarbij de relaties werden beschreven met abstracte, betekenisloze symbolen, en een andere waarbij dezelfde relaties werden beschreven met Engelsachtige zinnen. Het doel was om te zien of de manier waarop de informatie werd gepresenteerd de snelheid waarmee het model leerde veranderde, en of de interne staat van het model kennis onthulde die het gedrag niet vertoonde.
De resultaten waren opmerkelijk en contra-intuïtief. Wanneer het model werd getraind op de abstracte symbolen, beheersde het de drie-staps logische puzzels in slechts zeventig trainingscycli. Wanneer exact hetzelfde model, met exact hetzelfde trainingsplan, werd getraind op de Engelsachtige zinnen, duurde het meer dan dertienduizend cycli om datzelfde niveau van competentie te bereiken. Dat is een verschil van meer dan honderdvijftig keer. Toch, zodra het op zinnen getrainde model de drie-staps puzzel eindelijk kraakte, loste het de vier-staps versie op in slechts acht cycli. Dit suggereert dat het model duizenden cycli lang door een moeilijke fase heeft geworsteld, waarbij het schijnbaar geen vooruitgang boekte, voordat het plotseling het vermogen ontgrendelde om moeilijkere problemen op te lossen. Als een onderzoeker alleen naar de uiteindelijke antwoorden had gekeken, zou hij een machine hebben gezien die lange tijd faalde en dan plotseling slaagde, waarbij de hele verborgen reis van interne ontwikkeling die plaatsvond tijdens de strijd, volledig werd gemist.
Om te zien wat er gebeurde tijdens die lange, moeilijke cycli, keken de onderzoekers in de verborgen toestanden van het model—de interne representaties van de data die de machine gebruikt om na te denken. Ze gebruikten een eenvoudig hulpmiddel, een lineaire probe, die fungeert als een decoder, om te controleren of het juiste antwoord al aanwezig was in de geest van de machine voordat de machine het daadwerkelijk kon uiten. Aan de oppervlakte van de op zinnen getrainde variant kon deze probe de identiteit van het toekomstige antwoord detecteren met een klein maar betrouwbaar signaal, lang voordat het model zelf het antwoord correct kon geven. De probe vond dat informatie over het antwoord intern toegankelijk was, ook al kon het model dit nog niet uiten. Deze interne toegankelijkheid was geen toeval; toen de onderzoekers terugschakelden naar de abstracte symbolen, vonden ze hetzelfde patroon van vroege toegankelijkheid op specifieke punten in de verwerking van de machine. De machine hield informatie over het antwoord intern vast, wachtend op het juiste moment om het vrij te geven.
De studie onthulde echter ook een significante beperking in hoe we deze soort leren proberen te meten. De onderzoekers wilden precies bijhouden hoe deze interne kennis in de loop van de tijd sterker werd, om zo een kaart van de leercurve van de machine te maken. Ze realiseerden zich echter snel dat deze specifieke meting onmogelijk nauwkeurig uitgevoerd kon worden. Het probleem was dat de groep vragen waarop de machine werd getest, voortdurend veranderde. Naarmate de machine leerde, werd hij beter in het beantwoorden van bepaalde vragen, en die vragen werden vervolgens uit de testgroep verwijderd. Dit betekende dat de handeling van het meten van de voortgang van de machine de populatie van de gemeten vragen veranderde. Het was alsof je probeert te meten hoe snel een hardloper verbetert door hem alleen te timen op de banen die hij nog niet heeft voltooid; naarmate hij sneller wordt, veranderen de banen, wat het onmogelijk maakt om zijn snelheid in de loop van de tijd eerlijk te vergelijken. De onderzoekers bewezen dat dit specifieke type meting fundamenteel gebrekkig is in deze context, niet omdat de machine niet leerde, maar omdat de methode om het te volgen defect was.
Het artikel concludeert dat we niet kunnen vertrouwen op één enkele manier om te weten wat een machine heeft geleerd. Gedragsmatig succes, het vermogen om het juiste antwoord te geven, is slechts één observeerbaar feit. Interne toegankelijkheid, het vermogen om het antwoord binnen de machine te detecteren, is een ander. En het werkelijke proces van ontwikkeling in de loop van de tijd is een derde, dat vaak niet direct gemeten kan worden als de meetmethode zelf de omstandigheden verandert. De onderzoekers vonden dat een machine intern over een capaciteit kan beschikken lang voordat deze zich manifesteert, en dat het pad naar die capaciteit er heel anders uit kan zien afhankelijk van hoe het probleem wordt gepresenteerd. Het belangrijkste is dat zij lieten zien dat het simpelweg observeren van de machine, ongeacht hoe nauwgezet, niet genoeg is om de berekening te begrijpen die het heeft verworven. Om werkelijk te weten wat de machine heeft geleerd, moeten we verder gaan dan observatie en beginnen met interveniëren, door de interne toestanden van de machine direct te testen om te zien of zij de werkelijke oorzaak van het gedrag zijn. Tot die tijd blijft het interne leven van deze systemen gedeeltelijk verborgen, zelfs wanneer ze eindelijk de juiste antwoorden geven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.