Learned but Not Expressed: Capability-Expression Dissociation in Large Language Models
Deze empirische studie toont aan dat grote taalmodellen weliswaar informatie uit hun trainingsdata kunnen reconstrueren onder specifieke omstandigheden, maar dat deze vaardigheid systematisch wordt onderdrukt in standaard generatiecontexten, wat een duidelijke dissociatie tussen geleerde capaciteit en uitgedrukte output aantoont.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Wat een AI weet versus wat een AI vertelt: Een verhaal over stilzwijgende regels
Stel je voor dat je een enorme bibliotheek hebt, vol met boeken, verhalen en instructies. In deze bibliotheek staan ook verhalen over magische spoken, goddelijke ingrepen en toevalligheden die onverklaarbaar dingen oplossen. Een moderne kunstmatige intelligentie (zoals een chatbot) heeft deze bibliotheek allemaal gelezen. Het kan elk verhaal uit die boeken letterlijk navertellen als je het heel specifiek vraagt.
Maar hier is het verrassende: als je diezelfde AI vraagt om een gewoon verhaal te schrijven of een praktisch advies te geven, gebeurt er niets. Geen spoken, geen magie, geen "het viel gewoon op zijn plek". Het is alsof de AI die boeken wel heeft gelezen, maar ze nooit uit de kast haalt, tenzij je er heel hard om vraagt.
Dit is wat het onderzoek van Toshiyuki Shigemura ontdekt. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:
1. De "Alles-weet" Mythe
Veel mensen denken dat een AI werkt als een receptenboek. Als het boek een recept voor "magische taart" bevat, dan zal de AI die taart ook bakken als je om een taart vraagt. Ze denken: "Als het in de data staat, komt het er ook uit."
Het onderzoek laat zien dat dit niet klopt. Het is meer alsof de AI een chef-kok is die een enorme voorraadkast heeft, maar een streng reglement volgt. Zelfs als er een recept voor "vliegende taart" in de voorraadkast ligt, zal de chef die nooit op het menu zetten, tenzij je hem heel specifiek vraagt: "Wat zijn de gekste, onmogelijke recepten die je in je kast hebt?"
2. Het Experiment: 300 Proeven
De onderzoeker heeft 300 keer gekeken naar wat drie verschillende super-slimme AI's (van bedrijven als OpenAI, Anthropic en Google) produceerden.
- Situatie A: Hij vroeg om creatieve verhalen (waar magie normaal is).
- Situatie B: Hij vroeg om praktisch advies voor echte problemen.
Het resultaat? In geen enkele van de 300 verhalen of adviezen kwam er een "niet-oorzakelijke oplossing" voorbij. Geen magie, geen toeval, geen "het gebeurde zomaar". Het was 0%.
3. De "Magische" Test
Om te bewijzen dat de AI het wel kon, deed de onderzoeker een tweede test. Hij vroeg de AI heel direct: "Noem eens voorbeelden van problemen die opgelost werden door magie of goden."
Het resultaat? De AI deed dit moeiteloos! Ze konden de verhalen vertellen. Ze hadden de kennis dus wel.
4. De Vergelijking: De Stille Regisseur
Je kunt je de AI voorstellen als een acteur die een script heeft gelezen.
- De kennis (het script): De acteur kent alle regels, ook de gekke regels over vliegende paarden.
- De uitvoering (de voorstelling): Maar tijdens de normale voorstelling (het standaard gesprek) volgt de acteur een regisseur die zegt: "Geen vliegende paarden, tenzij ik het specifiek vraag."
De regisseur is hier de AI-afstemming (de manier waarop de AI is getraind om nuttig en veilig te zijn). Deze regisseur zorgt ervoor dat de AI in normale gesprekken altijd logische, realistische oplossingen kiest, zelfs als het over fictie gaat. De "magische" kennis is er nog steeds, maar het wordt systematisch onderdrukt tijdens het praten.
Waarom is dit belangrijk?
Dit onderzoek laat zien dat AI's niet gewoon "teruggeven" wat ze hebben geleerd. Ze kiezen wat ze zeggen.
- Ze hebben een vermogen (wat ze kunnen).
- Ze hebben een gedrag (wat ze doen).
Tussen die twee zit een enorme kloof. De AI kan een verhaal over magie vertellen, maar kiest er in een normaal gesprek voor om dat niet te doen. Dit betekent dat we niet kunnen zeggen: "Deze AI heeft X geleerd, dus hij zal X zeggen." Nee, de AI heeft een interne filter die bepaalt wat er op het moment van praten wel of niet mag.
Conclusie
Kort samengevat: De AI is als een bibliotheekbewaarder met een streng dagboek. Hij heeft alle boeken (inclusief de gekste verhalen) in zijn bezit en kan ze allemaal voorlezen als je het vraagt. Maar als je hem vraagt om een verhaal te vertellen voor een kind, pakt hij alleen de boeken uit die "logisch" en "realistisch" zijn. De gekke boeken blijven in de kast, niet omdat hij ze vergeten is, maar omdat hij beslist dat ze op dat moment niet passen.
Dit onderzoek waarschuwt ons: vertrouw niet blind op wat een AI zegt om te weten wat hij weet. Soms is het stilzwijgen van de AI niet gebrek aan kennis, maar een bewuste keuze.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.