Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext
Dit onderzoek toont aan dat huidige grote taalmodellen een sterke neiging hebben tot letterlijke communicatie en moeite hebben met het gebruik en interpreteren van subtekst, hoewel ze onder specifieke omstandigheden enige verbetering vertonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat communicatie niet alleen gaat over wat je zegt, maar vooral over hoe je het zegt en wat je er niet zegt. Dat is subtekst.
In het dagelijks leven gebruiken we dit de hele tijd. Als iemand een cadeau krijgt en zegt: "Oh, je had dit echt niet moeten doen!", bedoelen ze vaak het tegenovergestelde: "Dankjewel, dit is prachtig!" Ze zeggen het niet letterlijk, maar de betekenis zit erin verborgen.
Deze paper van Google DeepMind en de Universiteit van Washington vraagt zich af: Kunnen slimme computerprogramma's (zoals AI) ook zo'n subtekst gebruiken? Kunnen ze iets zeggen dat voor de één duidelijk is, maar voor de ander een raadsel blijft?
Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen.
1. De Proef: Een Spel van Verborgen Boodschappen
De onderzoekers hebben vier nieuwe spelletjes bedacht om dit te testen. Het is alsof ze een trainingskamp hebben gebouwd voor AI, waar ze moeten leren "fluisteren" in plaats van "schreeuwen".
- Het "Dixit"-Spel (Visuele Allusies):
Stel je voor dat je een kaart met een vreemde tekening hebt (bijvoorbeeld een draak met drie hoofden). Je moet een hint geven zodat sommige spelers de kaart raden, maar niet iedereen.- Het probleem: De AI's schreeuwden het uit. Ze gaven hints als: "Kijk, een draak met drie hoofden!" Dat is te makkelijk. Iedereen raadt het dan. Een goede hint zou zijn: "Dit is een team dat niet kan samenwerken," wat alleen raadt als je weet dat er een verhaal over een slecht team bestaat. De AI's waren vaak te rechttoe-rechtaan.
- Het "Wavelength"-Spel (Afstemming):
Hierbij moet je een teamgenoot laten raden waar een pijl op een lijn staat (bijvoorbeeld van "Koud" naar "Heet"). Je teamgenoot en jij delen een geheim verhaal; de tegenstanders niet.- Het resultaat: De AI's hadden moeite om te begrijpen wat hun teamgenoot wist. Ze konden niet goed inschatten: "Oh, mijn teamgenoot heeft dat verhaal gelezen, dus als ik naar dat verhaal verwijs, zal hij het snappen." Ze bleven vaak bij de letterlijke betekenis hangen.
- Het "Aesopische Schrijver"-Spel:
Dit is het spannendste spel. Een AI moet een verhaal schrijven over een verboden onderwerp (bijvoorbeeld "vrijheid"), maar de "censuur" (een andere AI) mag het niet doorhebben. De "criticus" (een derde AI) moet het wel doorhebben.- De uitkomst: Het was heel moeilijk. De schrijver-AI's waren vaak te duidelijk. De censuur-AI zag direct: "Aha, dit gaat over vrijheid!" en gaf een waarschuwing. De AI's konden nog niet goed "tussen de regels door" schrijven.
2. Wat Vonden Ze? De "Te Duidelijke" Robot
De grootste ontdekking is dat de slimste AI's (zoals Gemini en GPT-5) te eerlijk zijn. Ze hebben een soort "letterlijkheids-bias".
- De Metafoor: Stel je voor dat je een geheimzinnig gesprek voert in een druk café. Een mens fluistert: "De regen is vandaag erg zwaar," terwijl ze bedoelen: "We moeten snel vertrekken." Een AI zegt dan: "Het regent hard, we moeten vertrekken." Ze vergeten de subtiele laag.
- De cijfers: In één van de spellen gaven de beste AI's 60% van de tijd hints die voor iedereen te duidelijk waren. Ze faalden erin om te denken: "Wie weet dit en wie niet?"
3. Het Geheim van de "Gedeelde Kennis" (Common Ground)
Mensen gebruiken vaak gedeelde herinneringen om te communiceren. "Weet je nog dat we die film zagen?" zegt genoeg, zonder de film te noemen.
De onderzoekers gaven twee AI's een geheim verhaal dat de anderen niet kenden.
- Het goede nieuws: Als de AI's wisten dat ze dit geheim deelden, werden ze iets slimmer. Ze gebruikten het verhaal om hints te geven die alleen hun partner snapte. Dit zorgde voor een verbetering van 30-50%.
- Het slechte nieuws: Als ze niet wisten dat ze het verhaal deelden, maar het moesten raden, faalden ze. Ze konden niet zelf bedenken: "Hé, misschien heeft die ander ook dat verhaal gelezen." Ze wachten tot iemand het hardop zegt.
4. De Macht van de Context (Wie schrijft het?)
In een ander experiment lieten ze AI's verhalen lezen over historische gebeurtenissen (vermomd als sprookjes).
- Ze ontdekten dat de naam van de schrijver en de achtergrond van de lezer de betekenis volledig veranderden.
- Als een AI dacht dat het verhaal geschreven was door een historicus, zocht hij naar historische betekenis. Als hij dacht dat het een criticus was, zocht hij naar kunstzinnige betekenis.
- Dit laat zien dat AI's gevoelig zijn voor de "omgeving" van een tekst, maar ze doen het vaak op een heel mechanische manier, niet op een menselijke, intuïtieve manier.
Conclusie: Weer een Stapje dichter bij Menselijkheid
Kort samengevat:
Deze AI's zijn nog niet de meesters van de subtekst. Ze zijn als een student die een toneelstuk speelt en de tekst letterlijk uitspreekt, zonder de emotie of de dubbele bodem. Ze zijn te expliciet.
Maar, er is hoop. De slimste modellen beginnen langzaam te begrijpen dat "soms zeggen wat je niet bedoelt" een krachtig communicatiemiddel is. Ze leren dat communiceren niet alleen gaat over informatie overdragen, maar ook over het bouwen van een brug tussen wat jij weet en wat de ander weet.
De les voor de toekomst: Om AI's echt sociaal en creatief te maken, moeten we ze niet alleen leren wat ze moeten zeggen, maar ook hoe ze moeten denken over wat de ander in zijn hoofd heeft. Dat is de echte kunst van subtekst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.