DRACULA: Hunting for the Actions Users Want Deep Research Agents to Execute
Dit artikel introduceert DRACULA, de eerste dataset die feedback van deskundige gebruikers vastlegt over tussentijdse acties voor agents voor wetenschappelijk diep onderzoek, en onthult dat het benutten van de selectiegeschiedenis van een gebruiker de voorspelling van voorkeursacties aanzienlijk verbetert, terwijl het ook de kritieke uitdaging benadrukt om te bepalen welke acties moeten worden uitgevoerd in plaats van alleen hoe ze moeten worden uitgevoerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente onderzoeksassistent (een AI-agent) hebt die duizenden wetenschappelijke papers kan lezen en een lang, gedetailleerd rapport voor je kan schrijven. In het verleden, als je het eindrapport niet beviel, kon je alleen zeggen: "Dit is slecht" of "Dit is goed". Maar dat is als een kok vertellen: "De soep smaakt verkeerd", zonder te zeggen of ze te veel zout hebben gebruikt, de ui zijn vergeten of de knoflook hebben verbrand. Je weet niet welke stap fout ging, dus kan de kok niet echt leren hoe het de volgende keer beter moet.
Dit paper, DRACULA, introduceert een nieuwe manier om met deze onderzoeksassistenten te praten. In plaats van alleen de eindsoep te beoordelen, vroegen de onderzoekers gebruikers om de ingrediënten en stappen te proeven voordat de soep zelfs maar was gemaakt.
Hier is de opsplitsing van wat ze deden en ontdekten, met eenvoudige analogieën:
1. Het Probleem: Het "Black Box"-rapport
Normaal gesproken maakt een AI, wanneer het een onderzoeksrapport schrijft, honderden kleine beslissingen onderweg: Welke papers moet ik lezen? Moet ik een grafiek toevoegen? Moet ik dit concept uitleggen met een analogie?
Voorheen zagen gebruikers alleen het eindresultaat. Als het rapport saai was, wist de AI niet of het kwam omdat het de verkeerde papers had gekozen of omdat de schrijfstijl te stijf was. Het was een "black box".
2. De Oplossing: De "Receptkaart"-benadering
De onderzoekers bouwden een systeem waarbij de AI, voordat het het rapport schrijft, de gebruiker een menu van mogelijke acties presenteert (zoals een receptkaart).
- Het Menu: "Ik kan een sectie over datasets toevoegen", "Ik kan dit uitleggen met een voorbeeld uit de echte wereld" of "Ik kan me alleen richten op de laatste vijf jaar onderzoek".
- De Taak van de Gebruiker: De gebruiker kiest de acties die ze willen (zoals vakjes aanvinken op een recept) en legt uit waarom.
- Het Resultaat: De AI schrijft het rapport vervolgens alleen met die geselecteerde acties. Tot slot beoordeelt de gebruiker: "Heb je gedaan wat ik vroeg?"
Ze verzamelden meer dan 8.000 van deze "actiekeuzes" en 5.000 "uitvoeringscontroles" van 19 expert-onderzoekers in de informatica.
3. De Grote Ontdekking: "Weten wat je wilt" is Moeilijker dan "Het Doen"
De onderzoekers ontdekten twee verrassende dingen:
- De AI is eigenlijk best goed in het volgen van orders. Zodra een gebruiker zegt: "Voeg een grafiek toe", kan de AI meestal een goede grafiek tekenen.
- De AI is verschrikkelijk in het raden wat je eerst wilt. De AI stelt vaak de verkeerde acties voor. Het kan bijvoorbeeld voorstellen een grafiek toe te voegen, terwijl de gebruiker gewoon een samenvatting wilde.
De Analogie: Stel je een ober voor die geweldig is in het koken van het biefstuk precies zoals je het besteld hebt (medium-rare, met knoflookboter). Maar de ober is verschrikkelijk in het raden dat je eigenlijk een salade wilde. Het probleem ligt niet in het koken; het ligt in het raden.
4. Het "Mind-Reading"-experiment
Het team vroeg zich af: Kunnen we een computer trainen om te raden wat een mens zal kiezen?
Ze probeerden AI-modellen te leren de keuzes van een gebruiker te voorspellen door te kijken naar verschillende aanwijzingen:
- Aanwijzing A: Welke papers heeft de gebruiker eerder gelezen? (Niet erg behulpzaam).
- Aanwijzing B: Wat zei de gebruiker dat hij leuk vindt? (bijv. "Ik hou van korte rapporten"). (Niet erg behulpzaam).
- Aanwijzing C: Welke acties heeft de gebruiker echt gekozen in het verleden? (Dit was de winnaar).
De Les: De daden van mensen spreken luider dan hun woorden. Als je een vriend vertelt: "Ik hou van pittig eten", maar je bestelt altijd milde soep, dan moet je vriend luisteren naar wat je bestelt, niet naar wat je zegt. De AI leerde dat het kijken naar de eerdere "aangevinkte vakjes" van een gebruiker de beste manier was om te raden wat ze als volgende zouden kiezen.
5. Het "Veranderende Gedachte"-probleem
De onderzoekers ontdekten ook dat menselijke voorkeuren lastig zijn. Soms kiest een gebruiker vandaag een actie, maar als je ze over een paar maanden weer vraagt, kiezen ze misschien iets anders omdat hun doelen zijn veranderd.
- Voorbeeld: Een gebruiker wil vandaag "gedetailleerde technische stappen" omdat ze een project bouwen. Volgende maand willen ze misschien "hoogwaardige samenvattingen" omdat ze alleen de basis proberen te begrijpen.
- De Conclusie: Je kunt niet perfect voorspellen wat een mens voor altijd wil. Soms moet je het ze gewoon vragen (zoals het "Receptkaart"-menu), omdat hun doelen veranderen als de wind.
6. Het Eindresultaat: Een Beter "Recept"
Omdat ze leerden dat het kijken naar eerdere acties helpt, bouwden ze een systeem dat de geschiedenis van een gebruiker gebruikt om automatisch betere "menu-items" voor te stellen.
- Wanneer een gebruiker met een geschiedenis van het kiezen van "vergelijkingstabellen" een nieuwe vraag stelt, is het systeem waarschijnlijker om te suggereren: "Moet ik een vergelijkingstabel toevoegen?"
- Dit maakte gebruikers veel gelukkiger met de suggesties, zelfs als het systeem niet alles perfect over hen wist.
Samenvatting
DRACULA is een dataset en een studie die aantoont dat voor AI-onderzoekagenten het moeilijkste deel niet het schrijven van het rapport is; het is het uitzoeken welke stappen te nemen om het rapport nuttig te maken. Door gebruikers de stappen (acties) te laten kiezen voordat het werk begint, en door die keuzes te bestuderen, kunnen we AI bouwen die ons beter begrijpt.
Het paper concludeert dat terwijl AI steeds beter wordt in het doen van het werk, de echte uitdaging ligt in het beslissen welk werk er eerst gedaan moet worden. De beste manier om dit op te lossen, is luisteren naar wat gebruikers daadwerkelijk doen, niet alleen naar wat ze zeggen dat ze willen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.