Does a Tool Result Carry More Authority Than Plain Text? Three Prospective Studies of False-Claim Adoption in a Synthetic Assignment Task with Claude Opus 5
Drie prospectieve studies naar Claude Opus 5 onthullen dat hoewel tool-resultaat metadata aanvankelijk de adoptie van valse claims leken te vergroten in vergelijking met gewone beweringen, daaropvolgende preregelistreerde replicaties aantoonden dat dit effect noch consistent noch superieur was aan de invloed van expliciet aangekondigde inline tekst.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van kunstmatige intelligentie fungeren computerprogramma's die taalmodellen worden genoemd steeds vaker als agenten die dingen kunnen onthouden, informatie kunnen opzoeken en aantekeningen voor zichzelf kunnen schrijven. Stel je een digitale assistent voor die een dagboek bijhoudt van zijn werk. Het zou een eerdere aantekening die het heeft geschreven kunnen lezen, die aantekening als een feit kunnen behandelen en die aantekening later kunnen gebruiken om een beslissing te nemen. Deze mogelijkheid om te lezen uit een opslagplaats waar het ook naar schrijft, creëert een unieke lus: een bewering die slechts zonder bewijs werd opgeschreven, kan later terugkeren met de schijn van een geverifieerd verslag. De vraag die onderzoekers zich nu stellen, is of de manier waarop deze informatie wordt verpakt, de manier verandert waarop de computer het behandelt. Draagt een aantekening die arriveert binnen een formeel, gestructureerd "tool result"—een specifiek digitaal formaat dat wordt gebruikt voor gegevensretrieval—meer gewicht dan dezelfde aantekening die als gewone tekst arriveert? Als het formaat alleen de computer er al toe brengt om een valse bewering eerder te geloven, suggereert dit dat het systeem misschien wordt misleid door de schijn van autoriteit in plaats van door het werkelijke bewijs.
Om dit te onderzoeken, zette een onderzoeker genaamd Justin Bronder een reeks gecontroleerde experimenten op met een specifieke versie van een AI-model genaamd Claude Opus 5. Het doel was om te zien of het model een vals stuk informatie zou overnemen simpelweg omdat het in een bepa bepaald formaat arriveerde. De opzet was een synthetische taak waarbij het model werd gevraagd een specifieke code voor een benoemd item te identificeren. De juiste code werd verborgen voor het model, maar een verkeerde code werd stiekem in de gesprekshistorie geplaatst. Het model moest kiezen tussen de verkeerde code, een andere correcte code, of toegeven dat het het niet wist. De onderzoeker testte of het model blindelings de geplaatste verkeerde code zou accepteren als deze verscheen in een "tool result"-formaat versus wanneer deze verscheen als een eenvoudige bewering door de assistent.
In de eerste fase van de studie kreeg het model een geschiedenis te zien waarin een eerdere assistent een bewering had gedaan, en een apart "tool result" een record bevatte. Wanneer de valse code verscheen in de platte tekst van de bewering door de assistent, accepteerde het model deze bijna nooit; het negeerde de valse informatie correct of gaf toe dat het het niet wist. Echter, wanneer diezelfde valse code verscheen binnen het gestructureerde tool result, accepteerde het model dit als waarheid in veertien van de vierentwintig pogingen. Deze initiële bevinding suggereerde dat het tool result-formaat inderdaad een speciaal soort autoriteit bezit die platte tekst mist. Het model leek het gestructureerde verslag te behandelen als een geverifieerde opzoekopdracht, ook al was het slechts een geplaatste fout.
Om te verzekeren dat dit geen toevalstreffer was, herhaalde de onderzoeker de vergelijking in een tweede, strikt geplande experiment. Ditmaal negeerde het model de valse bewering opnieuw wanneer deze afkomstig was van de tekst van de assistent, maar accepteerde het de valse bewering in het tool result-formaat in zeven van de vierentwintig pogingen. Dit bevestigde dat het verschil echt en reproduceerbaar was onder deze specifieke omstandigheden. Het tool result-pakket leek een sterkere aantrekkingskracht te hebben op de besluitvorming van het model dan de platte tekst-bewering.
Echter, het verhaal nam een belangrijke wending in de derde en laatste studie. De onderzoeker realiseerde zich dat de vorige tests misschien onrechtvaardig waren omdat de platte tekst en het tool result op verschillende manieren en op verschillende tijdstippen werden gepresenteerd. In deze nieuwe opzet kreeg het model vooraf te weten dat het twee records zou zien: één in het tool result-formaat en één als platte tekst. Beiden werden samen gepresenteerd in de uiteindelijke vraag. De onderzoeker wisselde vervolgens om welk record de valse code bevatte. Wanneer de valse code in de platte tekst zat, accepteerde het model deze in elke enkele trial, zestig van de zestig. Wanneer de valse code in het tool result zat, accepteerde het model deze in vijfentwintig van de zestig gevallen.
Dit laatste resultaat draaide het oorspronkelijke idee om dat het tool result-formaat inherent krachtiger is. Het toonde aan dat wanneer het model expliciet wordt geïnstrueerd om naar beide records te kijken, de platte tekst even overtuigend is als het tool result. Het eerdere verschil kwam niet doordat het tool result-formaat een magische autoriteit had, maar omdat de manier waarop de informatie in de eerste twee studies werd gepresenteerd, het tool result liet lijken op het enige geldige antwoord op een retrieval-taak. Het model volgde de instructies van de taakstructuur in plaats van de bron van de informatie te beoordelen.
De studie concludeert dat het model niet beschikt over een ingebouwde regel die zegt "tool results zijn altijd waar". In plaats daarvan is het model gevoelig voor hoe een taak wordt geframed. Als de taak eruitziet als een opzoekopdracht waarbij een tool result het verwachte antwoord is, zal het model dit formaat vertrouwen. Als de taak twee opties naast elkaar presenteert, behandelt het model deze als gelijken en zal het valse informatie geloven, ongeacht of het in een tool result of in platte tekst staat. De bevindingen suggereren dat het gevaar van valse informatie niet alleen gaat over het formaat waarin het arriveert, maar over hoe de gehele conversatie is gestructureerd om het model het gevoel te geven dat het een reden heeft om die informatie te vertrouwen. Het onderzoek benadrukt dat de schijn van een geverifieerd verslag simpelweg gemanipuleerd kan worden door de verpakking te veranderen, maar dat dit effect verdwijnt wanneer het model direct wordt gevraagd om bronnen te vergelijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.