Learning to Retrieve from Agent Trajectories

Dit paper introduceert LRAT, een nieuw trainingsparadigma dat zoekretrievers optimaliseert door supervisie direct af te leiden uit agenttrajecten, wat leidt tot verbeterde prestaties in agente zoeksystemen vergeleken met traditionele mensgerichte benaderingen.

De kern

Samenvatting: "Leren van Agenten" – Een nieuwe manier om zoeken te verbeteren

Stel je voor dat je een super slimme robot hebt die voor jou op het internet gaat zoeken. Deze robot (een "agent") moet complexe vragen beantwoorden, zoals: "Wat gebeurde er precies met de radiozender die in 2017 fuseerde met Immaculate Heart?" Om dit te doen, moet de robot zelfstandig zoeken, lezen, nadenken en weer zoeken.

Het probleem is dat de zoekmachine die deze robot gebruikt, nog steeds is getraind op het gedrag van mensen. Dat is als een auto die is ontworpen voor een menselijke bestuurder, maar nu wordt bestuurd door een computer die heel anders rijdt.

Deze paper introduceert LRAT (Learning to Retrieve from Agent Trajectories), een slimme nieuwe methode om zoekmachines te trainen op basis van hoe robots zoeken, in plaats van hoe mensen zoeken.

Hier is de uitleg in simpele taal met een paar creatieve vergelijkingen:

1. Het Probleem: Een slechte match tussen leraar en leerling

Vroeger leerden we zoekmachines door te kijken naar wat mensen deden: waar klikten ze op? Hoe lang bleven ze op een pagina staan?

• De menselijke aanpak: Een mens zoekt iets, ziet een lijstje, klikt op de eerste link die eruit springt, en als het niet goed is, klikt hij op de tweede.
• De robot-aanpak: Een robot denkt eerst na, stelt een heel specifieke vraag, kijkt naar de resultaten, en als een resultaat er "interessant" uitziet, opent hij het volledig om te lezen. Als het niet helpt, gooit hij het direct weg en stelt een nieuwe vraag.

De zoekmachine die voor mensen is gemaakt, begrijpt deze robot niet. De robot maakt andere vragen en kijkt op een andere manier naar antwoorden. Het is alsof je een tenniscoach vraagt om een voetballer te trainen; de basisbewegingen lijken op elkaar, maar de strategie is totaal anders.

2. De Oplossing: Kijk naar de "reis" van de robot

De auteurs zeggen: "Laten we stoppen met kijken naar menselijke klikken en in plaats daarvan kijken naar de reis (de 'trajecten') die de robot maakt."

Stel je de robot voor als een detective die een dossier opbouwt. De paper ontdekt drie belangrijke geheimen in het gedrag van deze detective:

• De "Open-en-Lezen" regel (Browsen):
  Als de robot een document opent om het volledig te lezen, is dat een heel sterk teken dat het document belangrijk is. Mensen klikken soms op alles wat eruit springt (positie-bias), maar robots openen alleen wat ze echt nodig hebben.

  • Vergelijking: Als een detective een dossier uit de kast haalt en openlegt op zijn bureau, is dat bewijs dat het dossier relevant is. Als hij het niet aanraakt, is het waarschijnlijk onbelangrijk.

• De "Niet-aangeraakt" regel (Negatieven):
  In menselijke zoekresultaten is het lastig om te weten of iets irrelevant is of dat je het gewoon niet zag. Bij robots is dat makkelijker. Als de robot een lijst met 10 documenten krijgt en er slechts één opent, dan zijn de andere 9 zeker onbelangrijk voor die specifieke vraag.

  • Vergelijking: Als een kok 10 ingrediënten op de toonbank heeft liggen en er slechts één gebruikt voor zijn gerecht, dan zijn de andere 9 voor dat specifieke gerecht onbruikbaar. Geen twijfel, geen "misschien".

• De "Denk-tijd" regel (Relevantie-intensiteit):
  Dit is het slimste stukje. Als de robot een document leest, begint hij direct te "nadenken" (hij schrijft een gedachte op).

  • Als hij snel zegt: "Nee, dit helpt niet," en doorgaat, was het document waarschijnlijk maar half nuttig.
  • Als hij lang nadenkt en zegt: "Ah, hier staat precies wat ik zocht, en dit verandert mijn hele plan," dan was het document superbelangrijk.
  • Vergelijking: Het is alsof je kijkt naar hoe lang iemand naar een kaartje staart. Als ze snel wegkijken, was het niet interessant. Als ze 10 minuten lang diep in de details graven, was het goud waard. De paper gebruikt deze "denktijd" om te bepalen hoe zwaar een voorbeeld telt tijdens het trainen.

3. Het Resultaat: Een betere zoekmachine voor robots

De auteurs hebben een systeem genaamd LRAT gebouwd dat deze drie regels gebruikt om de zoekmachine te herscholen. Ze laten de zoekmachine kijken naar miljoenen voorbeelden van hoe robots zoeken, lezen en denken.

Wat levert dit op?

• Snellere antwoorden: Robots vinden het juiste antwoord sneller omdat de zoekmachine precies weet wat ze nodig hebben.
• Betere antwoorden: De robots maken minder fouten omdat ze betere informatie krijgen.
• Onafhankelijkheid: Het werkt voor elke soort robot, of het nu een kleine robot is of een gigantische super-intelligente AI.

Conclusie

Kortom: De wereld verandert. We gaan van een internet waar mensen zoeken, naar een internet waar robots voor ons zoeken. Deze paper zegt: "Stop met het trainen van zoekmachines op menselijk gedrag. Leer ze in plaats daarvan kijken naar hoe robots werken."

Het is alsof je een sporthal bouwt voor een nieuwe sport. Je gebruikt niet de regels van voetbal, maar je kijkt naar hoe de nieuwe sporters bewegen, en bouwt de hal daarop. Zo krijgt de robot de perfecte tools om zijn werk te doen.

Technische samenvatting

Probleemstelling: Het Misalignment tussen Mens- en Agent-gecentreerd Zoeken

Traditionele Information Retrieval (IR) systemen zijn ontworpen en getraind op basis van menselijk gedrag. Lerende rangschikking (Learning-to-Rank) methoden vertrouwen zwaar op grote hoeveelheden menselijke interactielogbestanden, zoals klikken en verblijftijd (dwell time), om relevantie te modelleren.

Met de opkomst van zoekagenten aangedreven door Large Language Models (LLM's) verandert dit paradigma fundamenteel:

1. Veranderde Gebruiker: De primaire gebruiker van zoekmachines wordt steeds vaker een autonome agent in plaats van een mens.
2. Integratie in Redenering: Zoeken is geen einddoel meer, maar een kerncomponent binnen multi-turn redeneer- en actiekringen (loops) van een agent.
3. Fundamenteel Mismatch: Retrieval-modellen getraind op menselijke data vertonen een fundamentele mismatch met hoe agenten queries formuleren en resultaten consumeren. Agenten stellen queries om tussenstappen in een probleemoplossing te bereiken, niet noodzakelijk om directe informatie te vinden. Menselijke aannames over relevantie (bijv. klikgedrag) gelden niet voor agenten, wat leidt tot suboptimale prestaties in "agentic search".

De auteurs stellen dat retrieval-modellen voor agenten direct moeten worden getraind op agent-interactiedata in plaats van menselijke logs.

Methodologie: LRAT (Learning to Retrieve from Agent Trajectories)

Het paper introduceert LRAT, een trainingsparadigma en framework dat supervisie ontleent aan multi-stap agenttrajecten. De aanpak bestaat uit drie kernfasen:

1. Analyse van Agent Trajecten (Signalen voor Supervisie)

De auteurs analyseren diep onderzoekende agenten (Deep Research Agents) en identificeren drie cruciale gedragsignalen die documentnut aangeven:

• Browse-acties als Positief Signaal: Agenten die een document "browsen" (volledig lezen) doen dit alleen als de snippet veelbelovend lijkt. Browse-acties blijken een noodzakelijke voorwaarde voor succesvolle taakuitvoering te zijn.
• Onbekeken Documenten als Betrouwbare Negatieven: In tegenstelling tot menselijke kliklogs (waarbij niet-klikken vaak te wijten is aan positiebias), vertonen agenten een gelijkmatige verdeling van browse-acties over ranglijsten. Documenten die niet worden bekeken, zijn dus vaak expliciet afgewezen na inspectie en kunnen dienen als betrouwbare negatieve voorbeelden zonder positiebias-correctie.
• Redenering na Browse als Intensiteitsmaatstaf: De lengte van de redenering (thought trace) die een agent produceert na het bekijken van een document, correleert sterk met de nuttigheid van dat document. Langere redenering wijst op diepere integratie van de informatie in de probleemoplossing.

2. Het LRAT Framework

LRAT verwerkt deze signalen in een trainingspipeline:

• Naïeve Relevantie Mining: Het framework extrahert ruwe query-document paren uit de overgang van [Search] naar [Browse]. Het browsed document is een positief voorbeeld; de andere resultaten in dezelfde lijst zijn negatieve voorbeelden.
• Redeneringsbewuste Filtering (LLM-as-Judge): Om ruis te verwijderen (documenten die wel werden bekeken maar nutteloos bleken), wordt een LLM gebruikt om de directe redenering na het browsen te analyseren. Alleen documenten die expliciet worden gebruikt om de taak vooruit te helpen, worden behouden als "Relevant".
• Intensiteitsbewuste Training (Weighted Contrastive Learning): In plaats van alle positieve voorbeelden gelijk te behandelen, wordt een gewicht toegekend op basis van de lengte van de post-browse redenering. Dit wordt gemodelleerd met een verzadigingsfunctie (exponentiële afname), analoog aan verblijftijd bij mensen.
  • De loss functie is een gewogen InfoNCE loss:
    $$\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} w_i \cdot \log \frac{\exp(s(q_i, d^+_i)/\tau)}{\exp(s(q_i, d^+_i)/\tau) + \sum \exp(s(q_i, d^-)/\tau)}$$
    Waarbij $w_i$ het gewicht is gebaseerd op de redeneringslengte.

Kernbijdragen

1. Nieuw Paradigma: De formalisering van "Learning to Retrieve from Agent Trajectories" als een nieuwe trainingsparadigma, waarbij supervisie direct wordt afgeleid van multi-stap agentinteracties in plaats van menselijke logs.
2. LRAT Framework: Een eenvoudig maar effectief framework dat hoge kwaliteit supervisie mient uit agenttrajecten, inclusief een methode om relevantie-intensiteit te kwantificeren via redeneringslengte.
3. Data Flywheel: Het aantonen dat agenttrajecten een schaalbare en praktische supervisiebron vormen die een zelfverbeterende data-flywheel mogelijk maakt, zelfs zonder menselijke annotatie.

Resultaten

De auteurs evalueren LRAT op twee benchmarks: InfoSeek-Eval (in-domein) en BrowseComp-Plus (out-of-domein), met diverse agent-architecturen (van 4B tot 358B parameters) en retrievers.

• Verbeterde Succespercentages: LRAT leidt tot consistente en aanzienlijke verbeteringen in de taak-succesrate (Success Rate). Bijvoorbeeld, bij de MiniMax-M2.1 agent steeg het succespercentage van 58,7% naar 78,3% (+33,4%) op InfoSeek-Eval.
• Hogere Evidence Recall: Op BrowseComp-Plus verbeterde de recall van bewijsdocumenten aanzienlijk (tot +37,9% bij sommige modellen), wat aantoont dat de retriever beter in staat is de specifieke informatiebehoeften van de agent te voorspellen.
• Efficiëntere Executie: Agents met LRAT-getrainde retrievers hebben minder interactiestappen nodig om een taak op te lossen (tot ~30% reductie in stappen), wat wijst op precisie in de geleverde resultaten.
• Robuustheid: De verbeteringen zijn consistent over verschillende retriever-architecturen (dense vs. sparse) en agent-schalen, en houden stand bij variërende retrieval-budgetten (top-K).
• Data Flywheel Validatie: Simulaties tonen aan dat zelfs imperfecte trajecten (waar de agent het eindantwoord niet correct heeft) nuttige supervisie bevatten, waardoor een iteratief verbeteringsproces mogelijk is.

Betekenis en Conclusie

Dit paper markeert een verschuiving in de visie op Information Retrieval voor de AI-tijdperk. Het toont aan dat het doorgaan met het trainen van zoeksystemen op menselijk gedrag een fundamentele beperking is voor de prestaties van autonome agenten.

Door LRAT te introduceren, bieden de auteurs een schaalbare oplossing om retrieval-modellen direct af te stemmen op de dynamische, multi-turn aard van agentic search. Dit creëert de mogelijkheid tot een zelfvoedende data-flywheel, waarbij elke agent-interactie bijdraagt aan het verbeteren van de zoekkwaliteit voor toekomstige agenten, zonder de noodzaak van dure menselijke annotatie. Dit is een cruciale stap voor de ontwikkeling van robuuste en efficiënte zoeksystemen in de era van agentic AI.