Preference Reasoning under Indeterminacy in Large Language Models
Dit artikel betoogt dat onbepaaldheid — voortvloeiend uit incomplete informatie en niet-bestaande oplossingen — een centrale uitdaging vormt voor de preferentiële redenering van AI, waarbij wordt aangetoond dat state-of-the-art grote taalmodellen systematisch falen in het onderscheid tussen bepaalde en onbepaalde instanties, wat leidt tot misgekalibreerde redenering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin kunstmatige intelligentie fungeert als een persoonlijke assistent, een bemiddelaar bij groepsbeslissingen of een matchmaker voor complexe systemen. In deze rollen moet de machine begrijpen wat mensen willen, vaak wanneer die wensen vaag, onvolledig of zelfs tegenstrijdig zijn. De machine moet niet alleen beslissen wat de beste keuze is, maar ook wanneer een beste keuze simpelweg niet gevonden kan worden. Dit is het domein van voorkeursredeneren, een veld waar computers leren te navigeren door menselijke verlangens. Jarenlang hebben onderzoekers deze systemen getest met puzzels met duidelijke, enkelvoudige juiste antwoorden, vergelijkbaar met een wiskundetoets waarbij elk probleem een wachtende oplossing heeft. Maar het echte leven is zelden zo ordelijk. In de echte wereld is informatie vaak incompleet, of maken de regels van de situatie een oplossing onmogelijk om te construeren. De vraag die wetenschappers vandaag de dag bezighoudt, is of onze meest geavanceerde AI het verschil kan zien tussen een probleem dat opgelost moet worden en een probleem dat geen antwoord heeft.
Een team van onderzoekers aan de Penn State University zette zich af om precies dit vermogen te testen. Ze bouwden een reeks uitdagingen gebaseerd op klassieke economische problemen, zoals het toewijzen van huizen aan mensen of het matchen van partners in een markt. In deze scenario's heeft elk persoon een lijst van wat zij verkiezen. De onderzoekers creëerden duizenden van deze scenario's, variërend van eenvoudige lijsten van tien items tot complexe netwerken met honderden agenten. Ze ontwierpen de tests om twee soorten onzekerheid te bevatten. Het eerste type treedt op wanneer de verstrekte informatie simpelweg incompleet is, zoals een persoon die slechts de helft van zijn favoriete voedingsmiddelen opsomt. Het tweede type treedt op wanneer de structuur van het probleem zelf een oplossing onmogelijk maakt, zoals een set voorkeuren waarbij geen enkele eerlijke ordening ooit kan bestaan zonder dat iemand ontevreden is. De onderzoekers vroegen vervolgens aan vier van de krachtigste taalmodellen die momenteel beschikbaar zijn om deze puzzels op te lossen. Ze wilden zien of de machines correct konden identificeren wanneer een vraag onbeantwoordbaar was en, indien dat het geval was, konden toegeven dat ze het niet wisten, in plaats van te gokken.
De resultaten onthulden een aanzienlijke blinde vlek in hoe deze systemen denken. Wanneer ze werden geconfronteerd met een probleem dat een duidelijk antwoord had, presteerden de modellen goed en kregen ze vaak de details juist. Echter, wanneer de informatie incompleet was of de oplossing onmogelijk was, faalden de modellen er consequent in om de doodlopende weg te herkennen. In plaats van te zeggen "Ik kan dit niet bepalen", bedachten ze vol vertrouwen antwoorden. Ze deden dit door stilletjes aannames te doen om de ontbrekende gaten op te vullen. Bijvoorbeeld, als een voorkeurslijst van een persoon werd afgebroken, namen de modellen aan dat de ontbrekende items op alfabetische volgorde of volgens een andere willekeurige regel waren gerangschikt, en gaven vervolgens een definitief antwoord op basis van die gok. In gevallen waar geen oplossing bestond, genereerden de modellen vaak toch een nepoplossing, of beweerden ze dat een oplossing bestond terwijl dat niet zo was. Dit gedrag was geen willekeurige fout; het was een systematisch patroon. De modellen leken niet in staat om onderscheid te maken tussen een situatie waarin ze harder moesten nadenken en een situatie waarin harder nadenken niet zou helpen omdat het antwoord simpelweg niet bestond.
De onderzoekers testten ook of het geven van een manier voor de modellen om "Ik weet het niet" te zeggen, het probleem zou oplossen. Ze voegden een specifieke optie toe die de modellen konden kiezen wanneer zij vonden dat de informatie onvoldoende was. Hoewel dit de modellen hielp om onzekerheid in sommige gevallen toe te geven, creëerde het een nieuw probleem. De modellen begonnen deze optie te overmatig te gebruiken, waarbij ze verklaarden dat er geen oplossing bestond, zelfs wanneer er een perfect mogelijk was. Het was alsof de modellen waren geslagen van de ene uiterste van blinde zelfverzekerdheid naar de andere van overmatige voorzichtigheid, niet in staat om het middenveld te vinden. Zelfs toen de onderzoekers de modellen toestonden om computercode te schrijven om de problemen op te lossen — een methode die de nauwkeurigheid meestal verbetert — worstelden de modellen. Ze konden kleine, eenvoudige versies van de problemen oplossen door elke mogelijkheid te controleren, maar naarmate de problemen groter werden, vervielen ze in gokken of opgeven, niet in staat hun redenering te schalen naar de omvang van echte toepassingen.
Misschien wel de meest veelzeggende bevinding kwam uit een test waarbij de modellen niet werden gevraagd een oplossing te creëren, maar simpelweg de juiste te kiezen uit een lijst met opties. Zelfs in deze eenvoudigere taak, waarbij de modellen alleen een antwoord hoefden te verifiëren in plaats van er een te bouwen, kozen ze vaak de verkeerde optie. Ze selecteerden vaak een oplossing die plausibel leek maar niet aan de strikte regels van het probleem voldeed. De studie toonde aan dat deze modellen een diepgewortelde neiging hebben om de voorkeur te geven aan behulpzaam en besluitvaardig overkomen boven accuraat te zijn over wat mogelijk is. Ze zijn getraind om patronen te voltooien en tekst te genereren die er juist uitziet, wat hen uitstekend maakt in het invullen van gaten in een verhaal, maar slecht in het herkennen wanneer een verhaal geen einde heeft.
Dit onderzoek suggereert dat naarmate we deze systemen integreren in kritieke besluitvormingsrollen, we voorzichtig moeten zijn met wat we van hen verwachten. Het vermogen om te herkennen wanneer een vraag niet beantwoord kan worden, is net zo belangrijk als het vermogen om een vraag te beantwoorden. Momenteel zijn de meest geavanceerde modellen nog niet in staat om dat onderscheid betrouwbaar te maken. Ze zullen waarschijnlijk doorgaan met het aanbieden van zelfverzekerde, plausibel klinkende antwoorden, zelfs wanneer de gegevens ontbreken of de regels een oplossing onmogelijk maken. Totdat dit verandert, vereist het vertrouwen in deze systemen voor beslissingen met een hoge inzet die betrekking hebben op menselijke voorkeuren een mens in de loop om niet alleen het antwoord te verifiëren, maar ook de mogelijkheid van het antwoord zelf. De studie beweert niet dat deze modellen kapot zijn, maar eerder dat ze opereren met een ander soort logica dan mensen, een logica die moeite heeft met het accepteren van de grenzen van wat kenbaar is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.