When Contextual Inference Fails: Cancelability in Interactive Instruction Following
Dit onderzoek introduceert de interactieve benchmark BWIM om te laten zien dat state-of-the-art taalmodellen, ondanks dat ze onbetrouwbare sprekers kunnen detecteren, in een collaboratieve taak vaak falen in het efficiënt toepassen van deze kennis voor verduidelijking en in plaats daarvan suboptimale strategieën zoals blind overvragen of gokken hanteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer je "tussen de regels" leest, mis je de boodschap: Een onderzoek naar hoe AI omgaat met onduidelijke instructies
Stel je voor dat je een bouwpakket hebt, maar de instructiekaart is niet helemaal compleet. De instructeur zegt: "Zet drie blokken achter het groene blok." Maar hij zegt niet welke kleur die drie blokken moeten hebben.
In de echte wereld zouden we hier slim op reageren. We denken: "Ah, de vorige stap was ook groen, dus waarschijnlijk bedoelt hij ook groen." Dit noemen we contextuele inferentie: het invullen van ontbrekende informatie op basis van wat we al weten.
Deze paper onderzoekt of moderne kunstmatige intelligentie (AI) dit slimme "invulwerk" ook kan doen, en nog belangrijker: of het kan leren stoppen met invullen als de instructeur daar juist vaak de fout mee maakt.
Het Experiment: Twee Bouwers, Twee Stijlen
De onderzoekers hebben een spelletje bedacht genaamd "Build What I Mean" (Bouw wat ik bedoel). In dit spel werkt een AI-bouwer samen met twee verschillende instructeurs:
- Pragmatische Pia: Zij is een slimme, efficiënte instructeur. Als ze iets weglaat, is het omdat ze erop vertrouwt dat jij het wel begrijpt. Als ze zegt "Zet een blok achter het blauwe", bedoelt ze waarschijnlijk een blauw blok, omdat dat logisch is in de context. Zij is betrouwbaar op basis van context.
- Letterlijke Lisa: Zij is een wat stijve instructeur. Ze zegt precies wat ze bedoelt, maar soms is ze onnauwkeurig. Als ze zegt "Zet een blok achter het blauwe", bedoelt ze misschien een rood blok, omdat ze vergeten is om de kleur te zeggen. Als jij hier "tussen de regels" invult (en denkt: "oh, waarschijnlijk blauw"), maak je een fout.
Het doel voor de AI: Leren wie je kunt vertrouwen. Als je merkt dat Lisa vaak fouten maakt als je haar woorden "invult", moet je leren om haar instructies letterlijk te nemen en niet meer te gokken. Bij Pia mag je wel blijven invullen.
Wat hebben ze ontdekt?
De onderzoekers keken naar de beste AI-modellen van dit moment (zoals GPT, Gemini en Claude) en vonden een heel interessant, en soms raar, fenomeen:
1. Ze snappen het wel, maar doen het niet.
De AI's konden heel goed vertellen: "Ik ben niet zeker van wat Lisa bedoelt." Als ze moesten inschatten hoe zeker ze waren, gaven ze eerlijk toe dat ze twijfelden bij Lisa. Ze hadden dus wel het inzicht.
2. Maar ze vragen niet om hulp.
Hier komt de knelpunt. In het echte leven zou je, als je twijfelt, zeggen: "Hé, welke kleur bedoel je precies?" Dit kost een klein beetje tijd, maar voorkomt een fout.
De AI's deden dit echter niet goed:
- De "Gokker": Sommige AI's gaven toe dat ze twijfelden, maar ze bleven toch maar gokken in plaats van te vragen. Ze dachten: "Ik vraag niet, want dat kost tijd," en maakten zo fouten.
- De "Paranoïde": Andere AI's vroegen om verduidelijking, maar ze deden dit bij iedereen. Ze vroegen ook aan de slimme Pia: "Welke kleur bedoel je?" terwijl ze dat niet hadden hoeven doen. Ze leerden niet dat Pia betrouwbaar is en dat ze bij haar gewoon hun "invulwerk" konden gebruiken.
De Analogie: De Onbetrouwbare Chef
Stel je voor dat je in een keuken werkt met twee chefs:
- Chef Pia zegt: "Haal de knoflook." Jij weet dat ze altijd de verse knoflook bedoelt, dus je pakt die zonder te vragen.
- Chef Lisa zegt: "Haal de knoflook." Maar vorige keer bedoelde ze de uien, en de keer daarvoor de paprika.
Een slimme kok (een mens) zou zeggen: "Bij Chef Pia pak ik direct de knoflook. Bij Chef Lisa vraag ik: 'Bedoel je de verse of de gedroogde?'"
De AI's in dit onderzoek gedroegen zich alsof ze Chef Lisa wel wisten dat ze onbetrouwbaar was, maar ze bleven toch maar de knoflook pakken (en maakten fouten) of ze vroegen bij Chef Pia ook: "Bedoel je de verse of gedroogde?" (en maakten zo het gesprek onnodig lang).
Waarom is dit belangrijk?
Dit onderzoek laat zien dat AI's vaak heel goed zijn in het begrijpen van taal, maar minder goed in het toepassen van die kennis in een gesprek. Ze kunnen zeggen "Ik weet het niet zeker", maar ze weten niet hoe ze die twijfel moeten omzetten in een slimme actie (zoals vragen of gokken).
Voor de toekomst betekent dit dat we AI's niet alleen moeten testen op of ze de juiste antwoorden kunnen geven, maar ook op of ze kunnen leren wanneer ze moeten stoppen met gokken en wanneer ze moeten vragen. Een goede gesprekspartner moet niet alleen slim zijn, maar ook weten wanneer hij of zij even moet pauzeren om zekerheid te krijgen.
Kortom: De AI's zijn slimme studenten die de theorie kennen, maar in de praktijk nog moeten leren hoe ze omgaan met onduidelijke instructies van verschillende mensen. Ze moeten leren dat "niet alles wat niet gezegd wordt, ook niet gezegd hoeft te worden" – maar alleen als je de juiste persoon aan het woord hebt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.