Ask, Condition or Abstain: Reinforcement Learning for Missing-Premise Reasoning
Dit artikel introduceert ACA-RL, een reinforcement learning-framework en de Missing-Premise Benchmark (MPB), die redeneermodellen in staat stellen om effectief om te gaan met onderbepaalde queries door te leren om te vragen naar ontbrekende informatie, antwoorden te conditioneren op onbekenden of te onthouden, in plaats van incorrecte reacties af te dwingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een vraag stelt aan een zeer deskundige assistent, maar je bent per ongeluk een cruciaal stuk informatie vergeten dat nodig is om het puzzelstukje op te lossen. Misschien vraag je naar de totale kosten van een reis, maar vergeet je de bestemming te vermelden, of vraag je om een oplossing voor een wiskundig probleem, maar laat je een specifiek getal weg. In de echte wereld zou een behulpzame mens even pauzeren, de lacune opmerken en je om het ontbrekende detail vragen. Ze zouden niet de bestemming raden of een getal verzinnen om je zo een antwoord te geven. Voor een lange tijd hadden kunstmatige intelligentiesystemen die getraind zijn om problemen op te lossen, moeite met deze specifieke situatie. Wanneer ze geconfronteerd werden met een onvolledige vraag, voelden deze systemen zich vaak gedwongen om de gaten zelf in te vullen, waarbij ze vol vertrouwen een foutief antwoord of een verzonnen feit produceerden. Dit gedrag, bekend als hallucinatie, gebeurt omdat de modellen er primair op getraind zijn om een definitief antwoord te vinden, en niet om te herkennen wanneer een antwoord onmogelijk te vinden is.
Onderzoekers hebben geprobeerd deze systemen te leren onzekerheid te herkennen, maar het simpelweg vertellen dat ze "ik weet het niet" moeten zeggen, is niet altijd de meest behulpzame reactie. Soms is de beste reactie om de gebruiker om het ontbrekende stuk informatie te vragen. Andere keren kan het systeem een nuttig antwoord geven dat afhangt van een variabele, zoals zeggen: "De kosten zijn tien dollar als de reis naar Parijs is, maar twintig dollar als het naar Londen is." Dit artikel introduceert een nieuwe methode om kunstmatige intelligentie te trainen om deze onvolledige vragen met dezelfde zorg te behandelen als een mens dat zou doen. De onderzoekers ontwikkelten een systeem dat modellen leert om ofwel om de ontbrekende informatie te vragen, ofwel een voorwaardelijk antwoord te geven, ofwel beleefd te weigeren te gokken wanneer geen nuttig antwoord mogelijk is.
Het team, onder leiding van onderzoekers van Ant International en Zhejiang University, creëerde een nieuwe trainingsaanpak genaamd Ask-Condition-Abstain Reinforcement Learning. Om de modellen dit gedrag te leren, moesten ze eerst een enorme bibliotheek van oefenproblemen maken die opzettelijk kapot waren gemaakt. Ze namen 120.000 goed geformuleerde, oplosbare problemen en verwijderden of wijzigden zorgvuldig één cruciaal stuk informatie van elk probleem. Dit proces was niet willekeurig; ze gebruikten een gestructureerde kaart van hoe het probleem opgelost moest worden om precies te identificeren welk feit noodzakelijk was voor het antwoord. Door deze feiten chirurgisch te verwijderen, creëerden ze een dataset waarbij de enige juiste reactie was om toe te geven dat de vraag onvolledig was.
Zodra deze trainingsdata klaar was, leerden ze de modellen via een systeem van beloningen dat specifieiek gedrag aanmoedigde. In plaats van alleen een correct eindantwoord te belonen, gaf het systeem punten voor het stellen van verhelderende vragen of het uitleggen wat er ontbrak. Het gaf minder punten voor het simpelweg weigeren om te antwoorden, en het gaf negatieve punten voor het verzinnen van feiten of het gokken. Het doel was om het instinct van het model te verschuiven van "raad het antwoord" naar "identificeer de lacune". Om te testen of deze training daadwerkelijk werkte, bouwden de onderzoekers een nieuwe benchmark genaamd de Missing-Premise Benchmark. Deze testset bevatte 274 zorgvuldig geverifieerde problemen waarbij informatie ontbrak, variërend van wiskunde en logica tot alledaagse tekstproblemen.
De resultaten lieten zien dat de nieuwe trainingsmethode de manier waarop de modellen onvolledige vragen afhandelen aanzienlijk verbeterde. Op de nieuwe benchmark scoorden de modellen die met deze methode waren getraind veel hoger dan die die alleen getraind waren om antwoorden te vinden of die simpelweg getraind waren om "ik weet het niet" te zeggen. De getrainde modellen waren veel minder geneigd om te hallucineren of feiten te verzinnen. In plaats daarvan kozen ze er vaak voor om om de ontbrekende informatie te vragen of om uit te leggen hoe het antwoord zou veranderen afhankelijk van de onbekende variabele. Cruciaal was dat deze verbetering niet kwam ten koste van hun vermogen om normale, volledige problemen op te lossen. Wanneer ze werden getest op standaard wiskundige en logische puzzels waarbij alle informatie aanwezig was, presteerden de modellen net zo goed als voorheen, wat aantoont dat het leren herkennen van onzekerheid hen niet slechter maakte in het oplossen van oplosbare taken.
De studie suggereert dat de volgende stap voor intelligente systemen niet alleen sneller of nauwkeuriger te zijn in het oplossen van problemen, maar ook beter te weten wanneer een probleem zoals gesteld niet kan worden opgelost. Door modellen te leren om ontbrekende informatie bloot te leggen in plaats van te gokken, ondersteunt deze aanpak de creatie van veiligere en betrouwbaardere assistenten. Deze systemen kunnen beslissen wanneer ze de gebruiker om hulp moeten vragen of wanneer ze een hulpmiddel moeten gebruiken om een ontbrekend feit te vinden, in plaats van vol vertrouwen een foutief antwoord te geven. De onderzoekers merken op dat hoewel hun methode goed werkt voor logische hiaten in gestructureerde problemen, echte vragen in de praktijk rommeliger en ambivalenter kunnen zijn. Echter, het werk biedt een duidelijke weg vooruit om kunstmatige intelligentie te leren de grenzen van de eigen kennis te herkennen en constructief te reageren wanneer informatie onvolledig is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.