Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Each language version is independently generated for its own context, not a direct translation.
Stel je een zeer oude, stoffige bibliotheek voor met boeken geschreven in een taal die niemand meer spreekt. Je hebt geen woordenboek en de auteurs zijn lang verdwenen. Je doel is niet alleen om de letters op de pagina te kopiëren (dat is makkelijk); je doel is om het verhaal, de logica en de regels te begrijpen die de auteur probeerde te volgen.
Dit artikel gaat over een team van onderzoekers dat probeerde drie verschillende "super-intelligente robots" (ChatGPT, Gemini en Claude) te gebruiken om deze oude computerprogramma's te lezen en uit te leggen wat ze eigenlijk doen.
Hier is de uiteenzetting van hun experiment met eenvoudige analogieën:
De Missie: Het "Spook" in de Machine decoderen
De onderzoekers hadden oude software (zogenaamde "legacy code") die fungeerde als een portier bij een club. Deze portier had specifieke regels:
- De Geografie-regel: "Als een stad de hoofdstad van een land is, moet het tot dat land behoren."
- De Koninklijke Regel: "Twee koningen kunnen niet tegelijkertijd hetzelfde land regeren, tenzij ze getrouwd zijn of ouder-kind zijn."
Het probleem? De code was geschreven in een oude stijl (VBA) zonder commentaar dat uitlegde waarom het zo geschreven was. De onderzoekers wilden zien of AI de code kon bekijken en zeggen: "Ah, ik zie het! Deze code handhaaft de regel dat hoofdsteden moeten overeenkomen met landen."
De Drie Robots (De AI-tools)
De onderzoekers testten drie verschillende AI-"detectives":
1. ChatGPT: De Bedachtzame Tutor
- Hoe het werkte: ChatGPT was als een slimme student die het echt goed wilde hebben. Toen de onderzoekers hem de eerste simpele regel gaven, begreep hij het perfect.
- De Fout: Toen ze hem de complexe "Koninklijke Regel" gaven, begreep ChatGPT het verhaal aanvankelijk verkeerd. Hij dacht dat de code een huwelijk afwees, terwijl de code eigenlijk een wijziging van een bestaand huwelijk afwees.
- Het Herstel: Toen de onderzoekers hem corrigeerden, zei ChatGPT niet alleen "Oké". Hij zei: "Oh! Ik zie mijn fout. Ik keek naar het verkeerde deel van de logica. Je hebt gelijk: het gaat niet om de staat van het huwelijk, maar om de overgang van het verwisselen van de echtgenoten." Hij leerde van de correctie en legde uit waarom hij fout zat.
- Uitspraak: De beste in het begrijpen van de diepere betekenis en het toegeven wanneer hij een fout maakte.
2. Claude: De Elegante Dichter
- Hoe het werkte: Claude was zeer beleefd en waardeerde de wiskundige schoonheid van de code. Hij begreep de simpele regels direct en prees de onderzoekers voor hun slimme logica.
- De Fout: Net als ChatGPT begreep hij ook de complexe "Koninklijke Regel" eerst verkeerd. Hij deed een verwarrende bewering dat "gelijktijdige regeringen onmogelijk zijn voor een getrouwd koppel", wat geen zin had.
- Het Herstel: Toen gecorrigeerd, gaf hij de fout toe en begreep eindelijk de logica. Het was echter zeer traag om mee te communiceren (de onderzoekers moesten uren wachten tussen vragen), waardoor het proces voelde als een zeer langzame, formele theepartij.
- Uitspraak: Zeer goed in het begrijpen, maar traag en wat stijf.
3. Gemini: De Overenthousiaste Kunstenaar
- Hoe het werkte: Gemini was het meest dramatisch. In plaats van te zeggen "Deze code controleert of een stad tot een land behoort", zei hij dingen als: "Dit is een Bio-Logische Zelfhelende sensor die een Ethische Ruptuur detecteert!" Hij gebruikte te veel metaforen (bacteriën, kalksteen, labyrinten) en probeerde de onderzoekers te overtuigen om andere, moderne tools te gebruiken in plaats van de oude code te analyseren.
- De Fout: Hij rekende de simpele wiskunde verkeerd uit (een functie een "surjectie" noemen terwijl het een "injectie" was) en, toen gecorrigeerd, deed hij alsof hij het begreep maar bleef dezelfde fout maken.
- Uitspraak: Te bloemrijk en omstandig. Hij verdwaalde in zijn eigen metaforen en kon zich niet houden aan de feiten.
De Grote Ontdekking: De "Staat" versus de "Verandering"
De belangrijkste les uit het artikel is een subtiel maar enorm verschil in logica:
- Staat: Is de huidige situatie geldig? (bijv. "Is dit huwelijk legaal?")
- Overgang: Is de actie om de situatie te veranderen geldig? (bijv. "Kan ik de echtgenoot vervangen door iemand anders?")
De onderzoekers ontdekten dat de AI-tools goed waren in het opsporen van de "Staat" (de simpele regels). Maar toen het ging om de complexe "Overgangs"-regels (de Koninklijke Regel), raakten ze allemaal in de war. Ze dachten dat de code een huwelijk verhinderde, terwijl het eigenlijk een wijziging van een huwelijk verhinderde.
De Eindconclusie
De onderzoekers concludeerden dat:
- AI een geweldig assistent is voor kleine puzzels: Als je de AI een klein stukje code geeft, kan het het zeer goed uitleggen.
- AI is nog geen vervanging voor experts: Als de code wat groter of complexer is, kan de AI zelfverzekerd het exacte tegengestelde uitleggen van wat de code doet.
- Wiskunde telt: De onderzoekers merkten op dat de AI-tools het beste werkten wanneer de mensen die hen leidden hun wiskunde kenden (zoals verzamelingenleer en logica). De AI heeft een mens nodig die "logica" spreekt om hem op het juiste spoor te houden.
Kortom: Deze AI-tools zijn als zeer slimme stagiairs. Ze kunnen het handboek lezen en de basis perfect uitleggen, maar als je ze een lastig, real-world scenario geeft, vertellen ze je misschien zelfverzekerd het verkeerde verhaal. Je hebt nog steeds een bekwame menselijke ingenieur nodig om hun werk te controleren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.