When Models Know More Than They Say: Probing Analogical Reasoning in LLMs
Dit onderzoek toont aan dat er een asymmetrie bestaat tussen de interne representaties en de geprompte prestaties van open-source modellen bij het detecteren van narratieve analogieën, waarbij probede representaties bij retorische analogieën aanzienlijk beter presteren dan prompten, wat wijst op beperkingen in hoe prompting toegang biedt tot beschikbare informatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Wat modellen echt weten versus wat ze zeggen: Een speurtocht in het brein van AI
Stel je voor dat je een enorme, superintelligente bibliotheek hebt. In deze bibliotheek zitten boeken die niet alleen feiten bevatten, maar ook diepe verhalen, metaforen en slimme vergelijkingen. De vraag die deze auteurs zich stellen, is: Begrijpen de computers die deze bibliotheek lezen echt wat erin staat, of lezen ze alleen de letters op de pagina?
Hier is een uitleg van het onderzoek, vertaald naar alledaags taalgebruik met een paar creatieve vergelijkingen.
1. Het Probleem: De "Oppervlakkige" Lezer
Mensen zijn goed in het herkennen van vergelijkingen. Als iemand zegt: "Dit project is als een schip dat zinkt," begrijpen we direct dat het om een ramp gaat, ook al hebben we het woord "schip" nooit eerder in die context gehoord. We kijken naar de diepe betekenis, niet alleen naar de woorden.
Computers (LLMs) zijn goed in dit soort dingen als de oppervlakte overeenkomt. Maar als de vergelijking verborgen zit in de structuur van het verhaal en niet in de woorden zelf, haken ze vaak af. Ze lijken dan te zeggen: "Ik zie geen schip, dus ik zie geen ramp."
2. De Twee Manieren om te Kijken: De "Vraagbaak" vs. De "Röntgenfoto"
De onderzoekers gebruiken twee methoden om te testen wat deze AI-modellen echt weten:
- De Vraagbaak (Prompting): Dit is alsof je de computer vraagt: "Hé, welke van deze twee verhalen lijken het meest op elkaar?" Je kijkt naar het antwoord dat de computer zegt.
- De Röntgenfoto (Probing): Dit is alsof je de computer openmaakt en direct in zijn hersenen (de interne lagen) kijkt. Je vraagt niet wat hij denkt te zeggen, maar je meet welke signalen er in zijn brein oplichten als hij naar die verhalen kijkt.
De grote ontdekking: Soms zegt de computer niets (of het verkeerde), maar zijn zijn hersenen volop aan het werk met het juiste antwoord!
3. De Twee Soorten Vergelijkingen
De onderzoekers testten twee soorten "vergelijkingspuzzels":
A. Retorische Vergelijkingen (De "Stijl"-puzzel)
Stel je voor dat je twee zinnen hebt die precies hetzelfde ritme en dezelfde grammaticale structuur hebben, maar over totaal verschillende dingen gaan.
- Voorbeeld: "Sterkte kan verzwakken, gezondheid kan gewond raken."
- Wat de computer deed:
- Binnenin (Röntgenfoto): De computer herkende deze patronen perfect. Het antwoord was bijna 100% correct. Het zat diep in zijn geheugen.
- Buiten (Vraagbaak): Toen ze de computer vroegen om het te zeggen, gaf hij een rampzalig antwoord. Hij wist het wel, maar kon het niet "vertalen" naar een antwoord.
- De Metafoor: Het is alsof je een pianist hebt die alle noten uit zijn hoofd kent (hij kan ze in zijn hoofd spelen), maar als je hem vraagt om op de piano te spelen, slaat hij alle toetsen verkeerd. Hij heeft de kennis, maar verliest de controle over zijn vingers.
B. Verhalende Vergelijkingen (De "Verhaal"-puzzel)
Hierbij moet je twee hele verhalen vergelijken die dezelfde structuur hebben (bijvoorbeeld: "een held die valt en weer opstaat"), maar heel andere personages en settings hebben.
- Wat de computer deed:
- Binnenin: De computer zag de overeenkomsten, maar niet heel sterk.
- Buiten: Hij gaf ook een zwak antwoord.
- De conclusie: Hier klopt het beeld wel. Als de computer het niet kan zeggen, is het waarschijnlijk omdat hij het ook niet echt goed begrijpt. Het is een echte uitdaging voor de AI.
4. Waarom is dit belangrijk?
De onderzoekers ontdekten een vreemd fenomeen:
- Bij kleine, open-source modellen (zoals de gratis Llama-modellen) is er een enorme kloof. Ze weten veel meer dan ze laten blijken. Ze hebben de antwoorden in hun "hoofd", maar kunnen ze niet naar buiten brengen als je ze erom vraagt.
- Bij grote, dure modellen (zoals die van Google of OpenAI) is er geen kloof. Als ze het weten, zeggen ze het ook.
5. De Les voor de Wereld
De belangrijkste boodschap van dit papier is: Kijk niet alleen naar wat een AI zegt.
Als je alleen kijkt naar wat een AI antwoordt (prompting), denk je misschien dat hij dom is of dat hij niet begrijpt wat hij leest. Maar als je in zijn interne werking kijkt (probing), zie je dat hij soms heel slim is, maar gewoon niet weet hoe hij dat moet laten zien.
Het is alsof je een student examens laat maken. Soms weet de student het antwoord perfect, maar door zenuwen of een slechte vraagstelling schrijft hij het verkeerd op. Als je alleen naar het examenblad kijkt, denk je dat hij het niet weet. Maar als je hem in de pauze vraagt wat hij dacht, zie je dat hij het eigenlijk wel wist.
Samenvattend:
AI-modellen zijn soms als een "stomme genie". Ze hebben de antwoorden in hun hoofd, maar de manier waarop we ze vragen (prompting) is niet altijd goed genoeg om die antwoorden naar buiten te halen. Om echt te weten wat een AI kan, moeten we zowel naar zijn antwoorden kijken als naar wat er in zijn "hoofd" gebeurt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.