DAR: Deontic Reasoning with Agentic Harnesses
Dit artikel introduceert Deontic Agentic Reasoning (DAR), een agentisch framework dat grote taalmodellen in staat stelt om op aanvraag met wetsteksten te interageren om de prestaties op complexe deontische redeneertaken te verbeteren, hoewel het opmerkt dat deze voordelen niet uniform zijn en kunnen leiden tot een verslechterde numerieke prestatie en een hoger tokenverbruik in zwakkere modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar het enige aanwijzing die je hebt is een enorm, 1.000 pagina tellend regelboek geschreven in dichte juridische taal. Jouw taak is om de specifieke regel te vinden die van toepassing is op de situatie van een specif으로 persoon en het resultaat te berekenen.
Dit papier gaat over het testen hoe goed verschillende "detectives" (AI-modellen) deze mysteries kunnen oplossen wanneer ze een speciale set gereedschappen mogen gebruiken versus wanneer ze gewoon het hele boek in één keer krijgen.
De twee manieren om het mysterie op te lossen
De onderzoekers vergeleken twee verschillende benaderingen:
- De "Grote Stapel" Benadering (Directe Redenering): Stel je voor dat je de detective het hele 1.000-pagina tellende boek, de feiten van de zaak en de vraag in één keer geeft. De detective moet het hele boek in zijn hoofd doorlezen, de juiste pagina vinden en het antwoord onmiddellijk opschrijven.
- De "Zoek & Graaf" Benadering (Deontic Agentic Reasoning of DAR): In plaats van de detective het hele boek te geven, zet je het boek op een plank in een kamer en geef je hem een set gereedschappen (zoals een vergrootglas, een zoekmachine en een rekenmachine). De detective moet naar de plank lopen, de tools gebruiken om de specifieke pagina te vinden die hij nodig heeft, deze lezen, en dan terugkomen om het antwoord op te schrijven. Hij kan dit zo vaak doen als nodig is.
De Grote Ontdekking: Het Hangt Er Van Wie Je Vraagt
De onderzoekers testten dit met twee soorten detectives: Supergenieën (topniveau, dure AI-modellen) en Leerlingen (kleinere, open-source AI-modellen).
1. De Supergenieën Bloeiden Op
Wanneer de Supergenieën de mogelijkheid kregen om de "Zoek & Graaf"-tools te gebruiken, werden ze veel beter in het oplossen van de puzzels.
- Waarom? Ze zijn slim genoeg om te weten waar ze naar moeten zoeken. Ze konden zeggen: "Ik moet het gedeelte over belastingaftrek vinden," de
grep-tool gebruiken om direct naar die plek te springen, en de rest van het boek negeren. - Het Resultaat: Hun nauwkeurigheid steeg aanzienlijk (soms met 15–30%). Ze gebruikten de tools efficiënt om de juiste regels te vinden en het antwoord correct te berekenen.
2. De Leerlingen Kampten Hiermee (en Werden Slechter)
Wanneer de Leerlingen dezelfde tools kregen, presteerden ze eigenlijk slechter dan wanneer ze gewoon het hele boek in één keer hadden gekregen.
- Waarom? Ze raakten in de war door de vrijheid. In plaats van te stoppen zodra ze een aanwijzing vonden, bleven ze graven, irrelevante pagina's lezen en kwamen ze vast te zitten in lussen. Ze besteedden een enorme hoeveelheid tijd (en computer"energie") aan het vol vertrouwen schrijven van lange, foute antwoorden.
- Het Resultaat: Hun nauwkeurigheid daalde drastisch (soms tot bijna nul). Ze verbruikten tot wel 4 keer meer computerbronnen om een slechter antwoord te krijgen.
De "Zelfvertrouwen-Versterker" Metafoor
Het papier suggereert dat de tools voor de zwakkere modellen fungeerden als een zelfvertrouwen-versterker.
- Stel je een student voor die het antwoord op een wiskundeprobleem niet weet. Als hij alleen maar het antwoord hoeft op te schrijven, zal hij misschien gokken en verder gaan.
- Maar als je hem een rekenmachine en een tekstboek geeft en zegt: "Ga de antwoorden zoeken," kan hij paniekerig door pagina's bladeren, willekeurige berekeningen uitvour en zichzelf ervan overtuigen dat hij het goed heeft, ook al heeft hij het fout. De tools zorgden ervoor dat hij dacht dat hij hard aan het werk was, maar hij was eigenlijk alleen maar zinloos aan het ronddraaien.
De Kosten van het Fout Zijn
Het papier benadrukt een groot kostenprobleem.
- De Supergenieën waren efficiënt. Ze gebruikten de tools om het juiste antwoord snel te vinden.
- De Leerlingen waren verspillend. Ze gebruikten de tools om enorme hoeveelheden tekst te genereren, waardoor ze computerbronnen (tokens) verbruikten zonder hun nauwkeurigheid te verbeteren. In sommige gevallen liepen ze zelfs uit de tijd voordat ze zelfs maar klaar waren met hun gedachte.
De Kern van de Zaak
De conclusie van het papier is dat het geven van een "gereedschapskist" aan een AI om regels op te zoeken geen magische oplossing is voor iedereen.
- Als de AI al zeer intelligent is, helpt de gereedschapskist het om te excelleren.
- Als de AI nog aan het leren is, kan de gereedschapskist het juist overmoedig, verspillend en minder nauwkeurig maken.
De onderzoekers waarschuwen dat we er niet vanuit mogen gaan dat het geven van meer tools aan een AI automatisch de AI beter maakt bij complexe taken zoals belastingrecht of immigratieregels. Voor zwakkere modellen kan het simpelweg duurder zijn en leiden tot meer zelfverzekerde fouten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.