UIS-Digger: Towards Comprehensive Research Agent Systems for Real-world Unindexed Information Seeking

Deze paper introduceert UIS-Digger, een nieuw multi-agent framework dat de beperkingen van huidige zoekagenten bij het vinden van niet-geïndexeerde informatie aanpakt door middel van een nieuw benchmark (UIS-QA) en een effectieve oplossing die zelfs superieure prestaties boekt ten opzichte van geavanceerde modellen zoals O3 en GPT-4.1.

De kern

De Onzichtbare Bibliotheek: Waarom AI nog steeds zoektochten mislukt

Stel je voor dat je een enorme, moderne bibliotheek binnenstapt. De meeste boeken staan op de planken die je direct kunt zien; ze hebben een label, een titel en een nummer. Als je vraagt: "Waar vind ik het boek over de geschiedenis van de Eiffeltoren?", dan wijst de bibliothekaris (de AI) je direct naar de juiste plank. Dit noemen de auteurs Gearchiveerde Informatie. Het is makkelijk, snel en werkt perfect.

Maar wat als het antwoord op je vraag niet op een plank staat? Wat als het antwoord verborgen zit in een oude, stoffige kist in de kelder die niemand ooit heeft opgetekend? Of in een mapje dat je alleen kunt openen als je een specifieke knop indrukt op een computer in een afgelegen hoekje? Of in een PDF-bestand dat niemand heeft gescand?

Dit is het probleem waar dit nieuwe onderzoek over gaat: UIS (Unindexed Information Seeking), ofwel het zoeken naar informatie die niet in de standaard catalogus staat.

Het Probleem: De "Blinde Vlek" van AI

De auteurs merken op dat de slimste AI-assistenten van vandaag (zoals die van Google of OpenAI) geweldig zijn in het vinden van boeken op de plank. Maar zodra je ze vraagt om te graven in de kelder, of om een specifiek formulier in te vullen op een website die niet door zoekmachines wordt gevonden, raken ze in paniek. Ze geven vaak het antwoord op, of verzinnen een antwoord (hallucineren), omdat ze gewend zijn dat alles "online" en "zoekbaar" moet zijn.

Het is alsof je een detective vraagt om een moord op te lossen, maar je hem alleen de openbare krantenartikelen geeft, terwijl de echte bewijzen in een privé-dagboek van de verdachte zitten dat niemand heeft gescand.

De Oplossing: De "UIS-Digger" (De Schatgraver)

Om dit probleem op te lossen, hebben de onderzoekers twee dingen bedacht:

1. Een nieuwe test (UIS-QA): Ze hebben een speciale "examen" gemaakt met 110 vragen die alleen te beantwoorden zijn door in die "kelder" te graven. Denk aan vragen als: "Wat staat er precies in het jaarverslag van een specifiek bedrijf dat alleen als PDF te downloaden is na het invullen van een formulier?"

   • Het resultaat? Zelfs de slimste AI's haalden er maar een 25% op. Ze faalden bijna allemaal.

2. Een nieuwe AI-agent (UIS-Digger): Ze bouwden een nieuw team van digitale detectives, genaamd UIS-Digger.

   • Hoe werkt het? Stel je voor dat een gewone AI alleen kan lezen. UIS-Digger heeft echter een heel team:
     • Een Planner die het plan maakt.
     • Een Zoeker die de standaard zoekmachine gebruikt.
     • Een Surfer die echt op websites klikt, scrollt, menu's opent en zelfs screenshots maakt (als een mens die naar een scherm kijkt).
     • Een Lezer die PDF's en Excel-bestanden openmaakt en eruit haalt wat erin staat.
   • De Leertruc: Ze hebben deze AI niet alleen "geleerd" door haar boeken te laten lezen. Ze hebben haar getraind door haar duizenden keren te laten oefenen op moeilijke taken, waarbij ze fouten mocht maken en daarna werd gecorrigeerd. Het is alsof je een student niet alleen een theorieboek geeft, maar haar ook laat werken in een echte winkel om te leren hoe je met klanten omgaat.

Het Resultaat: Een Doorbraak

Toen ze deze nieuwe "Schatgraver" (UIS-Digger) op hun moeilijke examen legden, gebeurde er iets moois:

• Hij scoorde 27%, wat klinkt niet als 100%, maar in de wereld van dit soort moeilijke taken is het een enorme sprong vooruit.
• Hij deed het zelfs beter dan systemen die gebruikmaken van de allerduurste en slimste AI-modellen ter wereld.

De les: Het maakt niet uit hoe slim je hoofd (de AI) is; als je niet de juiste gereedschappen hebt (klikken, downloaden, bestanden openen) en niet weet hoe je moet graven in de onzichtbare hoeken van het internet, zul je de schat nooit vinden.

Samenvatting in één zin

Dit papier zegt: "AI is goed in het vinden van wat iedereen al kent, maar we moeten haar leren om te graven in de duistere, onzichtbare hoeken van het internet waar de echte schatten verborgen liggen."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "UIS-DIGGER: TOWARDS COMPREHENSIVE RESEARCH AGENT SYSTEMS FOR REAL-WORLD UNINDEXED INFORMATION SEEKING", gepresenteerd in het Nederlands.

Probleemstelling: Ongeïndexeerde Informatiezoeke (UIS)

Hoewel LLM-gebaseerde informatiezoeke-agenten recordprestaties behalen op bestaande benchmarks (zoals GAIA en BrowseComp), vertonen ze een kritieke blinde vlek: Unindexed Information Seeking (UIS).

• Definitie: Bestaande systemen zijn sterk afhankelijk van informatie die door zoekmachines is geïndexeerd (IIS). UIS verwijst naar vitale informatie die niet wordt vastgelegd door webcrawlers, zoals over het hoofd geziene content, dynamische webpagina's, ingesloten bestanden (PDF, XLSX) en content die vereist interactie (zoals het selecteren van datums of het lezen van grafieken) voordat deze zichtbaar wordt.
• De Uitdaging: In real-world scenario's is de benodigde informatie vaak verborgen in "obscure hoeken" van het internet. Zoekmachines kunnen wel gerelateerde pagina's teruggeven, maar falen vaak in het leveren van de directe content of het uitvoeren van de noodzakelijke interacties. Bestaande benchmarks meten dit onderscheid tussen IIS en UIS niet expliciet, wat leidt tot een overschatting van de capaciteiten van huidige agenten.

Methodologie

De auteurs introduceren een tweeledige aanpak: een nieuw benchmark-dataset en een nieuw multi-agent framework.

1. UIS-QA: De Eerste UIS Benchmark

Om het UIS-probleem systematisch te evalueren, hebben de auteurs UIS-QA ontwikkeld.

• Opbouw: Een dataset van 110 door experts geannoteerde vraag-antwoordparen.
• Filtering: De dataset is zorgvuldig gefilterd om vragen te verwijderen die alleen via geïndexeerde informatie (IIS) of interne kennis van het model opgelost kunnen worden.
• Eigenschappen:
  • Objectiviteit: Antwoorden zijn feitelijk, deterministisch en uniek (geen open-ended vragen).
  • Autoriteit: Bronnen zijn officiële websites (overheidsinstanties, bedrijfsrapporten, code-repositories).
  • Statisch: Inhoud is tijdsonafhankelijk om eerlijke vergelijkingen mogelijk te maken.
  • Actieruimte: Vereist complexe interacties zoals het downloaden van bestanden, het selecteren van opties in formulieren, en diep navigeren door websites zonder vooraf gedefinieerd startpunt.

2. UIS-Digger: Een Multi-Agent Framework

Om UIS-taken aan te pakken, stellen de auteurs UIS-Digger voor, een systeem dat bestaat uit vier gespecialiseerde agenten:

• Planner: Ontleedt de gebruikersvraag in sub-taken en coördineert de uitvoering.
• Web Searcher: Gebruikt zoekmachines en crawlers om geïndexeerde informatie te vinden en deelt taken uit aan de andere agenten.
• Web Surfer: Voert interacties uit op webpagina's. Dit is een kerninnovatie:
  • Dual-Mode Browsing: De agent schakelt dynamisch tussen een tekstuele modus (voor efficiëntie) en een visuele modus (screenshots voor complexe UI-elementen zoals datumpickers of grafieken).
  • Gedeeld Geheugen: Behoudt een consistente browserstatus tussen de modi om synchronisatie-overhead te elimineren.
• File Reader: Verwerkt gedownloade bestanden (PDF, DOCX, XLSX) en leest ze chunk voor chunk als ze te groot zijn voor het contextvenster.

3. Trainingsstrategie (SFT en RFT)

Het onderliggende LLM (ongeveer 30 miljard parameters, gebaseerd op Pangu of Qwen) wordt getraind met synthetische data in twee fasen:

• Supervised Fine-Tuning (SFT): Een "cold start" fase waarbij een krachtig leraar-model trajecten genereert voor synthetische QA-paren. Alleen correcte en niet-triviale trajecten worden behouden.
• Rejection Sampling Fine-Tuning (RFT): Het getrainde model uit de SFT-fase genereert meerdere oplossingen met een hogere temperatuur. Trajecten worden gewogen op moeilijkheidsgraad (meer correcte pogingen = moeilijker) en alleen de beste trajecten worden gebruikt voor verdere training. Dit bootst de UIS-capaciteit op.

Belangrijkste Resultaten

De experimenten tonen een drastisch prestatieverschil tussen bestaande systemen en UIS-Digger:

• Prestatieval bij Bestaande Systemen: State-of-the-art agenten (zoals Tongyi-DR en Memento) die >70% scoren op GAIA, zakken dramatisch naar ~23-25% op UIS-QA. Dit bevestigt dat huidige systemen niet zijn geoptimaliseerd voor ongeïndexeerde informatie.
• UIS-Digger Prestaties: Met een relatief klein backbone-model (~30B parameters) bereikt UIS-Digger 27,27% nauwkeurigheid op UIS-QA.
  • Dit is een significante verbetering ten opzichte van alle baselines.
  • Het presteert beter dan systemen die gebruikmaken van geavanceerde, veel grotere modellen zoals O3 en GPT-4.1.
• Generalisatie: UIS-Digger behoudt ook sterke prestaties op traditionele benchmarks (GAIA en BrowseComp-zh), wat aantoont dat de training niet ten koste gaat van algemene vaardigheden.

Bijdragen en Analyse

1. Formalisatie van UIS: Het paper definieert en formaliseert het onderscheid tussen IIS en UIS, en toont aan dat dit een fundamentele beperking is in huidige evaluatieparadigma's.
2. UIS-QA Benchmark: De eerste dataset die specifiek is ontworpen om de capaciteit van agenten om ongeïndexeerde informatie te vinden, te testen.
3. UIS-Digger Framework: Een bewezen baseline die aantoont dat een combinatie van een uitgebreide actieruimte (dual-mode browsing, file parsing) en een zorgvuldige trainingsstrategie (SFT + RFT) cruciaal is voor UIS.
4. Foutanalyse: Uit analyse blijkt dat de belangrijkste faalfactoren zijn:
   • Ontbrekende Retrieval: Het niet vinden van de juiste root-website.
   • Foutieve Bronselectie: Het kiezen van een derde partij in plaats van de officiële bron.
   • Interactieproblemen: Het niet kunnen uitvoeren van complexe interacties (zoals het selecteren van een datum) zelfs als de juiste pagina is gevonden.

Significantie

Dit werk markeert een verschuiving in het onderzoek naar informatiezoeke-agenten. Het toont aan dat het simpelweg schalen van LLM-grootte niet voldoende is; de actieruimte (de mogelijkheid om diep te browsen en bestanden te lezen) en de trainingsstrategie (specifiek gericht op ongeïndexeerde bronnen) zijn bepalend.

Hoewel een nauwkeurigheid van 27,27% nog niet ideaal is, is het een sterke start die aantoont dat UIS-problemen oplosbaar zijn met de juiste architectuur. Het paper legt de basis voor toekomstige robuuste "deep research" systemen die niet afhankelijk zijn van zoekmachines, maar zelfstandig het diepe web kunnen verkennen.