HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning
Dit artikel introduceert HopRefusalBench, de eerste benchmark die is ontworpen om te evalueren hoe zoekversterkte agenten omgaan met onbeantwoordbare multi-hop vragen, waarbij wordt onthuld dat modellen vaak wel de juiste reden voor de onbeantwoordbaarheid kunnen identificeren, maar er vaak in falen zich te committeren aan een gepaste weigering, in plaats te vervallen in hallucinaties of het uitputten van zoekbudgetten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een super-slimme detective inhuurt om een mysterie op te lossen. Deze detective heeft een magische bibliotheek die hij onmiddellijk kan bezoeken, en hij is erg goed in het leggen van verbanden tussen verschillende boeken om het antwoord te vinden. Dit is hoe moderne "Search-Augmented" AI-agenten werken: het zijn grote taalmodellen die de digitale wereld op kunnen gaan, het internet (of een database) kunnen doorzoeken, en informatie kunnen samenvoegen om jouw vragen te beantwoorden. Meestal is dit geweldig. Maar wat gebeurt er als je een vraag stelt die niet beantwoord kan worden? Misschien vraag je: "Wie is de huidige koning van Frankrijk?" (dat is er niet), of "Wat is het geheime ingrediënt in een gerecht dat niet bestaat?"
In de wereld van AI is weten wanneer je niet moet antwoorden net zo belangrijk als weten hoe je wel antwoord geeft. Als je AI-detective blijft graven in de bibliotheek, een neppre koning verzint, of urenlang zoekt naar een niet-bestaand ingrediënt, is hij niet behulpzaam; dan is hij koppig en verspillend. Wetenschappers noemen dit "refusal" (weigeren) — het vermogen om te zeggen: "Ik kan deze vraag niet beantwoorden omdat de vraag gebrekkig is." Ho Hoewel we weten dat deze AI-detectives steeds beter worden in het oplossen van moeilijke puzzels, wisten we eigenlijk niet goed hoe ze zich gedroegen wanneer de puzzel onmogelijk op te lossen was in de eerste plaats. Stopten ze snel? Raakten ze in de war? Of verzonnen ze gewoon iets?
Dit artikel introduceert een nieuwe test genaamd HopRefusalBench om precies uit te zoeken hoe deze AI-detectives met onmogelijke vragen omgaan. De onderzoekers hebben 889 lastige vragen gemaakt die ontworpen zijn om de AI in de val te lokken. Ze stelden niet alleen simpele "ik weet het niet"-vragen; ze bouwden complexe, meerstaps mysteries waarbij de valstrik aan het begin, in het midden van de aanwijzingen, of helemaal aan het einde van de reeks kon zitten. Ze wilden zien of de AI vroegtijdig zou beseffen dat de vraag gebrekkig was, of dat hij zou blijven zoeken en uiteindelijk een antwoord zou hallucineren (iets verzinnen).
De resultaten waren een beetje een waarschuwing. Zelfs de slimste AI-modellen in de test slaagden er slechts in om correct te stoppen en te zeggen "Ik kan dit niet beantwoorden" in ongeveer 42,9% van de gevallen. Dat betekent dat ze in meer dan de helft van de gevallen niet doorhadden dat de vraag onmogelijk was. De studie toonde aan dat de AI-modellen eigenlijk best goed waren in het herkennen van waarom een vraag gebrekkig was zodra ze het bewijs hadden (in meer dan 84% van de gevallen konden ze de logica uitleggen), maar dat ze moeite hadden met het daadwerkelijk vastleggen van de beslissing om te stoppen. In plaats van te zeggen "Ik geef het op," bleven ze vaak zoeken tot ze geen tijd of energie meer over hadden, of ze verzonnen gewoon een nepantwoord om aan de gebruiker te voldoen.
De onderzoekers ontdekten ook dat de plek waar de "valstrik" in de vraag werd geplaatst, veel uitmaakte. Het was veel moeilijker voor de AI om te stoppen wanneer het probleem in het midden van de redeneerketen zat (zoals een kapotte brug tussen twee eilanden) vergeleken met wanneer het probleem aan het einde zat. Bovendien veranderde het type onmogelijke vraag hoe de AI faalde: sommige modellen hadden de neiging om feiten te verzinnen (hallucineren), terwijl andere gewoon eeuwig bleven zoeken totdat ze hun budget opgebruikten.
Kortom, dit artikel laat zien dat hoewel onze AI-detectives steeds beter worden in het vinden van informatie, ze nog steeds slecht zijn in het weten wanneer ze moeten stoppen. Ze raken vaak in een lus van zoeken of beginnen dingen te verzinnen in plaats van toe te geven dat de vraag zelf gebrekkig is. De auteurs suggereren dat voor deze AI-agenten om echt betrouwbaar te zijn, we ze niet alleen moeten leren hoe ze moeten zoeken, maar ook hoe ze een doodlopende weg moeten herkennen en moeten stoppen voordat ze tijd verspillen of misinformatie verspreiden. Het goede nieuws is dat we nu een kaart hebben (HopRefusalBench) om precies te diagnosticeren waar ze falen en hoe we het kunnen oplossen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.