Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It
Dit artikel onthult dat het vermogen van grote taalmodellen om de overtuigingen van gebruikers naast feiten te navigeren zeer gevoelig is voor formulering, aangezien hun standaardneiging om beweringen te controleren op feitelijke juistheid vaak ertoe leidt dat ze gestelde overtuigingen overrulen, met name wanneer specifieke epistemische werkwoorden worden gebruikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille brom van een dagelijks gesprek weven mensen voortdurend wat ze als waarheid kennen met wat ze louter als waarheid geloven. We kunnen zeggen: "Ik denk dat het antwoord drie is," of "Ik vermoed dat dat klopt," waarbij we een persoonlijke overtuiging vermengen met een bewering over de wereld. Deze uitdrukkingen van geloof zijn niet slechts beleefde opvulling; ze zijn een fundamenteel onderdeel van hoe we communiceren en dragen vaak een gewicht dat afwijkt van harde feiten. Voor de nieuwe generatie kunstmatige intelligentie, bekend als grote taalmodellen, wordt het navigeren door dit onderscheid steeds belangrijker. Naarmate deze systemen vanuit onderzoekslaboratoria naar onze broekzakken en kantoren verhuizen om als assistenten te fungeren, wordt van hen verwacht dat ze onze persoonlijke gedachten met dezelfde zorg behandelen als objectieve gegevens. De uitdaging ligt in een subtiele maar diepgaande moeilijkheid: wanneer een persoon een overtuiging uit die toevallig feitelijk onjuist is, begrijpt de machine dan dat er gevraagd wordt om de overtuiging zelf te bevestigen, of raakt het afgeleid door de fout in de bewering?
Een recente studie door onderzoekers van KAIST en de National Taiwan University of Science and Technology onderzoekt precies deze wrijving. Ze gingen onderzoeken of deze intelligente systemen het vermogen hebben om de handeling van het erkennen van een gedachte van de gebruiker te scheiden van de handeling van het verifiëren van de waarheid van die gedachte. Hiervoor vertrouwden ze niet op één type vraag, maar verkenden ze een breed landschap van menselijke expressie. Ze testten tien verschillende grote taalmodellen met achttien uiteenlopende manieren om een overtuiging te formuleren, variërend van het zelfverzekerde "Ik weet zeker" tot het aarzelende "Ik herinner me vaag" en zelfs het sceptische "Ik twijfel serieus". De opzet was eenvoudig: de onderzoekers presenteerden de modellen een bewering zoals "Ik geloof dat de lucht groen is," gevolgd door de vraag: "Geloof ik dat de lucht groen is?" Het juiste antwoord, ongeacht het feit dat de lucht niet groen is, is altijd "Ja," omdat de vraag gaat over de gemoedstoestand van de gebruiker, niet over de kleur van de lucht.
De resultaten toonden een verrassende inconsistentie in hoe deze modellen denken. Het vermogen om een overtuiging van een gebruiker correct te bevestigen was geen vaste vaardigheid; het veranderde drastisch afhankelijk van de specifieke woorden die werden gebruikt om die overtuiging uit te drukken. Wanneer de modellen werden gevraagd naar overtuigingen geformuleerd met "Ik herinner me vaag," presteerden ze goed en identificeerden ze de overtuiging correct, zelfs wanneer de onderliggende feit onjuist was. Echter, wanneer de formulering verschoof naar "Ik twijfel serieus," begonnen de modellen te falen en antwoordden ze vaak met "Nee" op de vraag of de gebruiker die twijfel koesterde. In sommige gevallen was de kloof in prestaties tussen feitelijke beweringen en onjuiste beweringen wel vijftig procentpunten breed, terwijl de modellen in andere gevallen juist beter presteerden op onjuiste beweringen dan op ware. Dit suggereert dat de modellen niet simpelweg falen in het begrijpen van het concept 'overtuiging'; hun succes of falen hangt eerder volledig af van de linguïstische trigger die de overtuiging introduceert.
De onderzoekers gingen dieper in om te begrijpen waarom dit gebeurt en ontdekten dat de modellen lijden aan een vorm van taakverwarring. Wanneer zij geconfronteerd worden met een onjuiste bewering, neigen de modellen naar een modus van feitencontrole. In plaats van de vraag te beantwoorden "Gelooft u dit?", vragen ze zichzelf stilletjes af: "Is dit waar?" en beantwoorden ze de vraag vervolgens op basis van de waarheid van de bewering, waardoor ze de geuite overtuiging van de gebruiker effectief overschrijven. Dit gedrag werd bevestigd door de interne redeneerstappen van de modellen te onderzoeken. In veel gevallen waar de modellen het antwoord fout hadden, besteedden ze expliciet tijd aan het verifiëren van de feiten van de bewering. Wanneer de onderzoekers een eenvoudige instructie toevoegden die de modellen vertelde niet aan feiten te controleren, daalde het foutpercentage bij onjuiste beweringen aanzienlijk en werden de modellen veel beter in het simpelweg erkennen van de overtuiging. Dit geeft aan dat de modellen wel degelijk in staat zijn om overtuigingen te volgen, maar dat ze vaak struikelen over hun eigen sterke drang om misinformatie te corrigeren.
Om te zien of dit een diepgeworteld mechanisch probleem was, keken de onderzoekers in de aandachtmechanismen van de modellen en observeerden zij op welke delen van de tekst het systeem zich concentreerde tijdens het genereren van een antwoord. Ze ontdekten dat wanneer een model faalde in het bevestigen van een onjuiste overtuiging, het aanzienlijk meer aandacht besteedde aan de onjuiste bewering zelf dan wanneer het slaagde. In een laatste test onderdrukten ze kunstmatig deze aandacht voor de bewering tijdens het generatieproces van het antwoord. In één specifiek model leidde deze interventie succesvol tot een verbeterde nauwkeurigheid bij het bevestigen van overtuigingen, zonder het vermogen om andere soorten vragen te beantwoorden te ruïneren. Dit suggereert dat het probleem niet een fundamenteel gebrek aan begrip is, maar een specifieke neiging om te zwaar te focussen op de inhoud van de bewering wanneer die inhoud onjuist is.
Uiteindelijk verduidelijkt de studie dat de strijd om onderscheid te maken tussen overtuiging en feit geen uniforme zwakte is in alle situaties. Het is een genuanceerd gedrag dat sterk afhangt van hoe de vraag wordt gesteld en hoe het model zijn rol interpreteert. Hoewel deze systemen over het algemeen zijn ontworpen om behulpzaam en accuraat te zijn, kan hun instinct om feiten te verifiëren soms interfereren met hun vermogen om te luisteren naar wat een gebruiker daadwerkelijk denkt. De onderzoekers concluderen dat de weg vooruit ligt in het ontwikkelen van methoden die deze modellen in staat stellen om het perspectief van een gebruiker te erkennen zonder het onmiddellijk te proberen te corrigeren, zodat ze trouwe luisteraars kunnen blijven, zelfs wanneer het gesprek afdwaalt naar het gebied van het onjuiste.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.