Technische Samenvatting: PAPERPILOT – Multi-turn Agentic Scientific Literature Search via Workflow Induction

1. Probleemformulering

Het doorzoeken van wetenschelijke literatuur wordt steeds complexer en vereist vaak meer dan een enkele zoekopdracht met trefwoorden om de intentie van de gebruiker te bevredigen. Onderzoekers moeten door citatie-omgevingen navigeren, methodologieën vergelijken, afleiders filteren en zoekstrategieën verfijnen op basis van evoluerende voorkeuren (bijv. specifieke citatierichtingen, recentheid of toepassingsdomeinen).

Bestaande agentische zoeksystemen vertrouwen doorgaans op vaste retrieval-pipelines of impliciet taalgebaseerd redeneren. Deze benaderingen lijden onder twee belangrijke beperkingen:

1. Gebrek aan Controle: Zoekstrategieën zijn moeilijk te inspecteren of te verfijnen wanneer gebruikers feedback geven (bijv. "focus op recenter werk").
2. Statische Intentieafhandeling: Ambigue informatiebehoeften vereisen vaak interactieve disambiguatie, wat vaste pipelines niet effectief kunnen adresseren. Huidige agenten behandelen gebruikersfeedback vaak slechts als extra tekst voor de zoekopdracht, in plaats van instructies om het retrieval-gedrag zelf te wijzigen.

Het artikel stelt dat het doorzoeken van wetenschappelijke literatuur moet worden geformuleerd als een multi-turn interactief workflow-inductieprobleem, waarbij de agent een uitvoerbare zoekstrategie construeert en verfijnt op basis van gebruikersfeedback.

2. Methodologie: PAPERPILOT

De auteurs introduceren PAPERPILOT, een multi-turn agentisch systeem dat het doorzoeken van literatuur behandelt als de inductie van een uitvoerbare Directed Acyclic Graph (DAG) van zoekoperators.

2.1 Workflow Induction Framework

In plaats van een vaste pipeline construeert PAPERPILOT een dynamische DAG voor elke gebruikersaanvraag:

• Toolset (PAPERPILOT-TOOLSET): Een bibliotheek van getypeerde paper-zoekoperators, inclus\nuit zoekopdrachten met trefwoorden, citatie-expansie (voorwaarts/achterwaarts), filtering, scoring, reranking en bewijsextractie.
• DAG-structuur: Knopen (nodes) vertegenwoordigen geïnstantieerde operators ($v_i = (o_i, \theta_i)$), en randen (edges) vertegenwoordigen de stroom van tussenliggende outputs (papersets, scores, trefwoorden, bewijs). Het systeem handhaaft typeconsistentie tussen de knopen.
• Adaptieve Executie: De agent selecteert relevante operators en configureert hun parameters (bijv. zoekwoorden, citatierichting, filterpredicaten) op basis van de specifieke zoekintentie (bijv. "sterke baselines" versus "opkomend vervolgwerk").

2.2 Interactielus

Het systeem werkt in een multi-turn setting:

1. Initialisatie: Gegeven een ankerpaper ($p_0$) en een gebruikersquery ($q$), induceert de agent een initiële workflow ($G_0$).
2. Executie: De workflow wordt knoop voor knoop uitgevoerd, waarbij tussenliggende outputs worden gecached.
3. Feedback & Verfijning: De gebruiker (of een simulator) geeft feedback ($f_t$). De agent verfijnt de workflow ($G_{t+1}$) door de DAG-structuur te bewerken, operatorparameters te wijzigen of tussenliggende kandidaat-sets aan te passen.
4. Finalisatie: Na een eindig aantal beurten geeft de agent een gerangschikte lijst met papers inclusief bewijsvoering.

2.3 Trainingsstrategie

PAPERPILOT-9B wordt getraind met een tweefasige supervisie-pipeline om geldige DAG-generatie en robuuste bewerking te leren:

1. Data Constructie: Hoogwaardige workflow-trajecten worden gegenereerd door een sterk teacher-model over vijf zoekrichtingen (predecessor, successor, sibling, benchmark, survey).
2. Supervised Fine-Tuning (SFT): Het model wordt getraind op 5.540 workflow-supervisievoorbeelden waarbij de gouden paper in de top-5 resultaten verschijnt.
3. Preference Optimization (DPO): Om stabiliteit en foutafhandeling te verbeteren, construeren de auteurs voorkeursparen door succesvolle workflows te corrumperen met structurele en semantische fouten (bijv. ongeldige referenties, ontbrekende inputs, weggevallen knopen). Het model wordt geoptimaliseerd om de correcte workflow te verkiezen boven de gecorrumpeerde versie met behulp van een IPO-stijl DPO-doelstelling.

3. Belangrijkste Bijdragen

1. Workflow Induction Formulering: Het artikel formuleert multi-turn wetenschappelijk zoeken als de inductie van uitvoerbare DAG-gestructureerde workflows, waarbij gebruikersfeedback wordt omgezet in concrete bewerkingen van zoekstrategieën in plaats van enkel extra zoektekst.
2. PAPERPILOT-9B Model: Een 9B-parameter agent getraind met workflow-imitatie en preference optimization over gecorrumpeerde workflows, wat een verbeterde retrieval-kwaliteit en workflow-stabiliteit aanzienlijk verbetert.
3. Reproduceerbare Benchmark: Een hold-out evaluatieset met gecontroleerde interactieprotocollen (gebruikmakend van een LLM-gebaseerde gebruikerssimulator) om een eerlijke vergelijking tussen single-turn en multi-turn settings mogelijk te maken.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op een benchmark die vijf wetenschappelijke zoekrichtingen dekt, waarbij PAPERPILOT-9B werd vergeleken met base-modellen (Qwen3.5-9B, Qwen3.5-397B) en grotere propriëtaire systemen (GPT-5.4, OpenAI DeepResearch).

4.1 Retrieval Prestaties

In de multi-turn setting presteerde PAPERPILOT-9B aanzienlijk beter dan de base Qwen3.5-9B toolset agent:

• Hit@5: Steeg van 58.0 naar 77.0.
• MRR: Steeg van 47.5 naar 59.4.
• nDCG@10: Steeg van 26.8 naar 32.5.
• Workflow Stabiliteit: Executiefouten werden verminderd van 9.5% naar 0%.

Opvallend genoeg overtrof PAPERPILOT-9B de single-turn GPT-5.4 Web Search baseline op Hit@5, Hit@10, Hit@15 en MRR, ondanks het gebruik van een kleiner model en lagere inferentiekosten.

4.2 Kosteneffectiviteit

PAPERPILOT biedt een gunstige kosteneffectiviteit:

• OpenAI DeepResearch: Kost ~$6.09 per geval met 72.0 Hit@5.
• PAPERPILOT-9B: Kost ~$0.018 per geval terwijl het 77.0 Hit@5 bereikt.
• GPT-5.4 met Toolset: Bereikte de hoogste absolute prestatie (84.0 Hit@5) tegen $0.15 per geval.

4.3 Ablatie en Analyse

• Workflow Editing: PAPERPILOT-9B vertoonde superieure lokale edit-consistentie (toevoegen, wijzigen, verwijderen van knopen) vergeleken met base-modellen, wat bevestigt dat training helpt het model om feedback als structurele instructies te behandelen.
• Zoekschaal: Het vergroten van de kandidaat-pool boven $K=8$–$10$ verslechterde over het algemeen de prestaties, wat suggereert dat grotere pools distractoren introduceren die downstream filtering verzwakken.
• Menselijke Studie: In een studie met menselijke participanten behaalde PAPERPILOT een succespercentage van 74,7% en een Top-1 Afstand van 2.4, waarmee het GPT-5.4 (32.0% succes) en OpenAI DeepResearch (8.0% succes) aanzienlijk versloeg.

5. Betekenis en Claims

Het artikel claimt dat expliciete, bewerkbare workflows een effectieve en controleerbare interface bieden om wetenschappelijke zoekagents af te stemmen op complexe, evoluerende wetenschappelijke intenties.

Belangrijke kernpunten benadrukt door de auteurs:

• Controle versus Impliciet Redeneren: De overstap van impliciet taalgebaseerd redeneren naar expliciete DAG-inductie stelt gebruikers in staat om de zoekstrategie direct te inspecteren en te verfijnen.
• Stabiliteit door Training: Training op gecorrumpeerde workflows is essentieel voor kleinere modellen om stabiliteit te behouden tijdens multi-turn interacties, om de foutaccumulatie te voorkomen die bij ongetrainde agenten wordt gezien.
• Praktische Bruikbaarheid: De aanpak toont aan dat hoogwaardig wetenschappelijk zoeken geen massieve propriëtaire modellen vereist; gestructureerd toolgebruik en workflow-controle kunnen superieure resultaten opleveren met aanzienlijk lagere kosten.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van een vooraf gedefinieerde operatorbibliotheek, potentiële biases vanuit teacher-model trajecten, en het gebruik van gesimuleerde gebruikersfeedback in plaats van echte interactie. Zij suggereren dat toekomstig werk bredere domeinen en adaptieve operatorbibliotheken zou moeten verkennen.