Multi-Turn Evaluation of Deep Research Agents Under Process-Level Feedback
Dit artikel introduceert een evaluatiekader voor meervoudige interacties voor diepgaande onderzoekagenten met behulp van een nieuwe procesmatige feedbackmethode genaamd Research Gap Inference, waarbij wordt onthuld dat hoewel een enkele ronde van gerichte feedback de rapportkwaliteit aanzienlijk verbetert, opeenvolgende beurten er niet in slagen om winst te cumuleren omdat agenten terugvallen op eerder vervulde criteria, wat aangeeft dat betrouwbare verbetering over meerdere interacties buiten het bereik blijft van de huidige architecturen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een team van superintelligente onderzoeksassistenten hebt ingehuurd (genaamd Deep Research Agents) om een gedetailleerd rapport te schrijven over een complex onderwerp, zoals "De geschiedenis van deepfake-technologie" of "De financiële gezondheid van een specifief bedrijf."
Normaal gesproken testen we deze assistenten door ze een vraag te stellen, ze één concept te laten schrijven en die enkele versie vervolgens te beoordelen. Maar in het echte leven, als je een concept krijgt van een menselijke onderzoeker, accepteer je dat zelden zomaar. Je geeft dan feedback zoals: "Je bent enkele belangrijke wetten vergeten," of "Je bronnen zijn te vaag," en vraagt hen om het te herschrijven.
Dit artikel vraagt zich af: Kunnen deze AI-assistenten daadwerkelijk beter worden wanneer je ze feedback geeft, of maken ze er een puinhoop van wanneer ze proberen hun eigen werk te verbeteren?
De onderzoekers testten dit op twee verschillende manieren van feedback geven:
1. De "Zelfreflectie"-test (De geblinddoekte redacteur)
In dit scenario krijgt de AI de opdracht: "Bekijk je rapport, vind je eigen fouten en los ze op." Er wordt geen externe hulp geboden.
- Het resultaat: Het was alsof je een student vraagt om zijn eigen essay te beoordelen zonder dat de leraar een antwoordmodel heeft. De AI probeerde hard, zocht meer op het web en las meer bronnen, maar kon niet ontdekken wat er eigenlijk mis was.
- De analogie: Stel je voor dat je probeert een lekkende boot te repareren terwijl je een blinddoek draagt. Je slaat hard op het hout en voegt meer planken toe (je doet meer werk), maar omdat je de gaatjes niet kunt zien, sla je misschien per ongeluk op een andere plek een nieuw gat. Het resultaat? De boot lekt nog steeds, of misschien lekt hij zelfs meer. De score van de AI veranderde nauwelijks, of werd soms zelfs slechter.
2. De "Feedback op Procesniveau"-test (De Strategische Coach)
Hier zeiden de onderzoekers niet alleen "los dit op". Ze gebruikten een speciaal hulpmiddel genaamd RGI (Research Gap Inference). Dit hulpmiddel keek naar het rapport van de AI en de beoordelingsmatrix om te achterhalen hoe de AI faalde.
In plaats van te zeggen "Voeg een feit toe over X," was de feedback meer als een coach die zegt: "Je kijkt naar het verkeerde type bronnen," of "Je behandelt dit onderwerp te breed en moet dieper in de specifieva details duiken," of "Je bent de belangrijkste juridische documenten vergeten."
- Het resultaat: Dit werkte wonderbaarlijk goed voor de eerste ronde van verbeteringen. De AI begreep de strategie, ging terug naar de bibliotheek, vond de juiste boeken en schreef een veel beter rapport. Hun scores sprongen aanzienlijk omhoog (met ongeveer 8 tot 15 punten).
- De analogie: Dit is als een coach die tegen een hardloper zegt: "Je bent niet aan het uitbranden; je schoenen zijn de verkeerde maat." Zodra de AI de juiste schoenen kreeg (de juiste onderzoeksstrategie), rende hij veel sneller en beter.
De Haken en ogen: Het "Herschrijf"-probleem
De onderzoekers vroegen de AI vervolgens om het opnieuw te doen (een derde ronde). Ze verwachtten dat de scores zouden blijven stijgen.
- Het resultaat: Voor de meeste AI-modellen stopte de verbetering. Sterker nog, toen ze probeerden de resterende kleine problemen op te lossen, braken ze per ongeluk de onderdelen die al wel werkten.
- De analogie: Stel je een chef-kok voor die een heerlijke soep maakt. De coach zegt: "Voeg een snufje zout toe." De chef voegt zout toe, en het is perfect. Maar dan zegt de coach: "Nu moet je de garnering verbeteren." De chef, die probeك perfect te zijn, besluit de hele pan weg te gooien en vanaf nul te beginnen. Tijdens het maken van een nieuwe pan vergeet hij de zout die hij net toevoegde, of hij verpest de groenten die hij de eerste keer goed had gekregen.
- Waarom? De AI-modellen die in deze studie werden gebruikt, werken door het "hele rapport telkens van scratch te herschrijven". Ze hebben geen geheugen van "wat er de vorige keer goed was". Dus wanneer ze proberen één ding te repareren, verliezen ze vaak de dingen die ze al hadden gerepareerd.
De Enkele Uitzondering: Het "Zorgvuldige" Model
Eén specifiek AI-model (DeepSeek-V4-Flash) gedroeg zich anders. Het gooide niet de hele pan weg. Het behield het grootste deel van de goede soep en voegde alleen de nieuwe ingrediënten toe. Het verbeterde zijn score opnieuw in de derde ronde.
- De kosten: Deze "zorgvuldige" model was echter ongelooflijk duur en traag. Het gebruikte ongeveer 4 keer meer rekenkracht en deed er veel langer over om na te denken dan de anderen. Het was als een chef die weigert iets weg te gooien en elk ingrediënt minutieus controleert, wat een eeuwigheid duurt en een fortuin kost.
De Kern van het Verhaal
- AI kan zichzelf niet repareren: Als je een AI vertelt om "je eigen fouten te herstellen", maakt het meestal de boel alleen maar slechter of verandert er niets, omdat de AI het grote plaatje niet ziet.
- Strategische feedback werkt: Als je de AI vertelt hoe ze moeten onderzoeken (bijv. "zoek naar officiële documenten, niet naar blogposts"), kan het een veel beter rapport schrijven.
- Het "Volledige Herschrijf"-gebrek: Huidige AI-onderzoekstools zijn als kunstenaars die hun hele canvas wissen telkens wanneer ze een nieuwe penseelstreek willen aanbrengen. Dit maakt het erg moeilijk om een rapport stap voor stap te verbeteren zonder per ongeluk de goede delen te verwijderen. Om echt betrouwbare, meerstaps verbeteringen te krijgen, hebben we AI nodig die kan onthouden wat hij goed heeft gedaan en alleen verandert wat er moet worden aangepast, in plaats van telkens opnieuw te beginnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.