The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion
Dit artikel introduceert "concept provenance", een raamwerk voor het detecteren en categoriseren van kennisintrusie vanuit de antwoordzijde in door LLM's gegenereerde zoekopdrachten, waarbij wordt onthuld dat hoewel dergelijke intrusie wijdverbreid is en verschillend is van natuurlijke menselijke variatie, het een minimale impact heeft op geaggregeerde retrieval-evaluatiemetrieken maar effectief kan worden geëlimineerd door selectie na generatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer een persoon online naar informatie zoekt, begint hij met een vraag die voortkomt uit wat hij al weet en wat hij wil ontdekken. De gebruiker typt woorden in een zoekvak op basis van zijn huidige begrip, in de hoop dat de computer hem naar antwoorden zal leiden die hij nog niet bezit. Dit moment van vragen is een strikte grens: de gebruiker heeft de vraag, maar niet het antwoord. Als de vraag zelf het antwoord bevat, is het zoekproces verbroken, omdat de gebruiker niet langer zoekt; hij bevestigt simpelweg wat hij al weet. In de moderne wereld gebruiken onderzoekers steeds vaker kunstmatige intelligentie om deze menselijke zoekers te simuleren. Ze vragen grote taalmodellen om duizenden verschillende zoekvragen te genereren om te testen hoe goed zoekmachines werken. Deze kunstmatige geesten lijden echter vaak aan een verborgen gebrek. Omdat ze enorme hoeveelheden tekst hebben gelezen, voegen ze soms per ongeluk het antwoord toe aan de vraag die ze eigenlijk zouden moeten stellen. Dit creëert een valse test, waarbij de zoekmachine perfect lijkt te werken simpelweg omdat de vraag het antwoord vooraf al gaf.
Een team van onderzoekers aan de RMIT University zette zich in om dit gebrek bloot te leggen, wat zij de "vloek van kennis" noemen in zoeksimulaties. Ze ontwikkelden een nieuwe manier om naar de woorden binnen een zoekopdracht te kijken, waarbij ze de oorsprong van elk afzonderlijk concept herleidden om te zien waar het vandaan kwam. Ze stelden een eenvoudige maar cruciale vraag: zou een echte mens, die alleen het verhaal van zijn probleem kende en niets anders, dit specifieke woord kunnen bedenken? Om het antwoord te vinden, analyseerden ze meer dan 77.000 zoekopdrachten gegenereerd door acht verschillende modellen voor kunstmatige intelligentie over 100 verschillende zoekonderwerpen. Ze vergeleken deze door machines gemaakte vragen met een grote collectie echte vragen geschreven door duizenden menselijke vrijwilligers die dezelfde verhalen hadden gekregen, maar geen toegang hadden tot de zoekresultaten.
De onderzoekers creëerden een systeem om elk woord in een zoekopdracht in een van de verschillende categorieën in te delen. Sommige woorden kwamen rechtstreeks uit het verhaal dat de gebruiker te horen kreeg. Anderen waren algemene woorden die veel mensen gebruikten. Een derde groep bestond uit zeldzame woorden die mensen weliswaar gebruikten, maar slechts incidenteel. De laatste groep, waarin de onderzoekers het meest geïnteresseerd waren, bevatte woorden die geen enkele mens ooit in die context had gebruikt, maar die wel zeer specifiek waren voor het juiste antwoord. Dit waren de indringers. Ze ontdekten dat de kunstmatige intelligentie in bijna elk onderwerp deze concepten van de kant van het antwoord erin sloopte. Over alle zoekopdrachten heen maakten deze indringerwoorden ongeveer 7,4 procent van de niet-generieke termen uit. In 97 van de 100 geteste onderwerpen bevatte de kunstmatige intelligentie ten minste één woord dat een echte mens, beginnend vanaf nul, nooit zou hebben kunnen bedenken om te typen.
Het onderzoek toonde aan dat deze intrusie plaatsvindt, ongeacht hoe de onderzoekers probeerden dit te voorkomen. Ze probeerden de kunstmatige intelligentie specifieke instructies te geven om binnen de grenzen van het verhaal te blijven, en ze probeerden de taak te kaderen alsof de machine een medisch expert of een leek was. Hoewel deze wijzigingen het aantal intrusies enigszins verminderden, elimineerden ze ze niet. De kunstmatige intelligentie bleef putten uit haar enorme interne bibliotheek van feiten en haalde termen op die bij het antwoord hoorden, en niet bij de vraag. De onderzoekers ontdekten dat dit gedrag niet slechts een willekeurige fout was, maar een fundamentele mismatch tussen hoe de machine denkt en hoe een mens zoekt. De machine kent het antwoord, dus gaat zij ervan uit dat de vraag dat kennis moet weerspiegelen.
Interessant genoeg veranderde de aanwezigheid van deze indringerwoorden de algemene score van hoe goed de zoekmachine in brede zin presteerde niet drastisch. De onderzoekers ontdekten dat het totale verschil in zoekresultaten veroorzaakt door deze woorden verrassend klein was wanneer men naar het grote geheel keek. Echter, wanneer zij naar individuele zoekopdrachten keken, was het effect aanzienlijk. Wanneer zij deze specifieke indringerwoorden uit een zoekopdracht verwijderden, daalde het vermogen van de zoekmachine om de juiste documenten te vinden merkbaar. Dit toonde aan dat hoewel de intrusie een hele test misschien niet ruïneert, het wel de specifieke route van een enkele zoekopdracht vertekent, waardoor deze richting documenten wordt getrokken die de gebruiker nog niet had mogen zien.
Om dit op te lossen, testten de onderzoekers of zij de slechte zoekopdrachten simpelweg konden filteren nadat de kunstmatige intelligentie ze had gegenereerd. Ze probeerden een strategie waarbij ze veel mogelijke vragen genereerden en vervolgens alleen de vragen selecteerden die een strikte controle op naleving van de grenzen doorstonden. Door dit te doen, waren ze in staat om de indringerwoorden uit 99 procent van de onderwerpen te verwijderen. Ze ontdekten dat ze bijna perfecte resultaten konden behalen door een grote pool van opties te genereren en vervolgens zorgvuldig de opties te kiezen die binnen de menselijke grenzen bleven. Dit bewees dat het probleem niet onoplosbaar was, maar dat het een stap van verificatie vereiste die de kunstmatige intelligentie niet uit zichzelf kon uitvoeren.
De studie benadrukte ook een dieper liggend probleem met de manier waarop we vertrouwen op kunstmatige intelligentie om zichzelf te beoordelen. Toen de onderzoekers andere modellen voor kunstmatige intelligentie vroegen om als rechters op te treden en te beslissen welke woorden intrusies waren, faalden de machines. Ze stemden consequent met elkaar in dat de indringerwoorden normale, algemene kennis waren, terwijl menselijke rechters de woorden correct identificeerden als gespecialiseerde termen die een gemiddeld persoon niet zou kennen. Dit suggereert dat modellen voor kunstmatige intelligentie de neiging hebben hun eigen geavanceerde kennis op de gemiddelde persoon te projecteren, uitgaande van het idee dat wat voor hen vanzelfsprekend is, ook voor iedereen vanzelfsprekend is.
Uiteindelijk biedt dit onderzoek een nieuw perspectief op hoe kunstmatige intelligentie interactie heeft met menselijke taken. Het laat zien dat het simpelweg vragen aan een machine om zich als een mens te gedragen niet genoeg is; de machine moet gecontroleerd worden om te verzekeren dat zij niet over informatie beschikt die zij niet zou mogen hebben. De onderzoekers concludeerden dat hoewel kunstmatige intelligentie een krachtig hulpmiddel kan zijn om zoekgedrag te simuleren, het een door mensen ontworpen veiligheidsnet vereist om te garanderen dat de simulatie eerlijk blijft. Zonder deze controle kunnen de tests die we uitvoeren om zoekmachines te verbeteren, eerder de capaciteit van de machine om het antwoord te raden meten, dan het vermogen van de zoekmachine om het te vinden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.