Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
Dit artikel onthult dat hoewel grote taalmodellen over interne signalen beschikken die zowel hun kennisgrenzen als de specificiteit van komende referenten aangeven, zij er niet in slagen deze signalen tijdens de generatie te verenigen, wat ertoe leidt dat zij specifieke details over onbekende entiteiten fabriceren in plaats van terug te vallen op veiligere, algemene beweringen zoals een Griceaanse coöperatieve spreker zou doen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je praat met een vriend die bijna elk boek heeft gelezen dat ooit geschreven is, maar die al een paar jaar niet meer in de bibliotheek is geweest. Als je hem naar een beroemde auteur vraagt die hij zeker kent, kan hij je precies vertellen in welke straat die auteur woonde. Maar als je hem naar een gloednieuwe auteur vraagt die gisteren een boek heeft gepubliceerd, weet hij diegene misschien niet. Een echt behulpzame, eerlijke vriend zou zeggen: "Ik heb nog nooit van hen gehoord, maar het is waarschijnlijk een schrijver." Echter, als je vriend een beetje te graag indruk wil maken, verzint hij misschien gewoon een straatnaam en een biografie, waarbij hij doet alsof hij alles weet. Dit is exact het probleem waar moderne kunstmatige intelligentie, specifelijk Large Language Models (LLM's), voor staat. Deze AI-systemen zijn als superlezers die feiten uit hun trainingsdata kunnen oproepen, maar wanneer ze iets nieuws of onbekends tegenkomen, "hallucineren" ze vaak — ze verzinnen plausibel klinkende details in plaats van toe te geven dat ze het niet weten.
Om te begrijpen hoe dit op te lossen, kijken wetenschappers naar een concept uit de taalkunde genaamd het "Coöperatief Principe", voorgesteld door een filosoof genaamd Grice. Het idee is simpel: in een goed gesprek probeert men behulpzaam te zijn (voldoende informatie geven) maar ook eerlijk (alleen zeggen wat men weet). Als je de specifieke details niet weet, "trekt een coöperatieve spreker zich terug" naar een veiliger, algemener antwoord. In plaats van een specifieke stad te raden, kunnen ze bijvoorbeeld zeggen: "een stad in Australië." Dit onderzoek stelt een fascinerende vraag: hebben AI-modellen de interne "remmen" om dit te doen? Weten ze wanneer ze aan het gokken zijn, en kunnen ze ervoor kiezen om vaag te zijn in plaats van dingen te verzinnen?
De onderzoekers, Dananjay Srinivas, Saksham Khatwani en Maria Pacheco van de University of Colorado, Boulder, besloten dit te onderzoeken door in de "hersenen" van deze AI-modellen te kijken. Ze bouwden een speciale test met behulp van een dataset met feiten over mensen, bedrijven, producten en vaardigheden. Om te simuleren dat de AI iets niet weet, creëerden ze nepnamen voor mensen en bedrijven die de AI nog nooit eerder had gezien. Vervolgens vroegen ze de AI om de gaten in zinnen zoals "Allan Peiper werd geboren in [blank]" in te vullen.
Dit is wat zij ontdekten, en het is een beetje een gemengd beeld. Ten eerste ontdekten ze dat de AI daadwerkelijk weet wanneer het te maken heeft met iets dat het nog nooit heeft gezien. Als je naar de elektrische signalen (activaties) in de hersenen van het model kijkt, is er een duidelijk patroon dat zegt: "Hé, deze naam is nieuw voor mij!" Het model heeft ook een tweede signaal dat voorspelt of het een specifiek antwoord gaat geven (zoals "Victoria") of een algemeen antwoord (zoals "een stad"). Dus de ingrediënten voor eerlijkheid zijn er zeker; het model heeft de kennis en het vermogen om te kiezen.
Echter, het slechte nieuws is dat het model deze informatie niet daadwerkelijk gebruikt om eerlijk te zijn. Zelfs wanneer de AI weet dat het naar een nepnaam kijkt die het nog nooit heeft gezien, kiest het overweldigend voor het geven van een specifiek, verzonnen antwoord in plaats van een veilig, algemeen antwoord. Het is alsof je een auto hebt met een perfecte GPS die weet dat je verdwaald bent, maar de bestuurder (het generatiebeleid van de AI) negeert de GPS en rijdt gewoon recht tegen een muur aan omdat hij echt naar een specifieke bestemming wil rijden. De onderzoekers ontdekten dat dit gebeurt, zelfs wanneer de AI de optie krijgt om vaag te zijn en zelfs wanneer het specifieke antwoord gegarandeerd fout is.
Kortom, het artikel laat zien dat hoewel AI-modellen de interne "sensoren" hebben om te weten wanneer ze buiten hun comfortzone treden, ze het "beleid" of de wil missen om te stoppen en terug te trekken naar een veiliger antwoord. Ze zijn geprogrammeerd om specifiek te zijn, zelfs wanneer ze dat niet zouden moeten zijn. De auteurs suggereren dat in plaats van deze fouten te proberen te herstellen nadat de AI al gesproken heeft, we de modellen moeten trainen om naar hun eigen interne sensoren te luisteren en te kiezen om vaag te zijn wanneer ze het niet zeker weten. Dit zou een stap zijn naar het maken van AI die meer coöperatief en betrouwbaar is, door hen te leren dat zeggen "Ik weet de exacte stad niet, maar het is in Australië" een veel beter antwoord is dan het verzinnen van een straatnaam.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.