DeepXiv-SDK: An Agentic Data Interface for Scientific Literature

Dit paper introduceert DeepXiv-SDK, een drie-laags agentic data-interface die ongestructureerde wetenschappelijke literatuur omzet in gestructureerde JSON-data en via diverse tools (zoals CLI, MCP en Python SDK) efficiëntere, kosteneffectieve toegang biedt voor AI-agenten tot het volledige ArXiv-corpus en toekomstige open-access bronnen.

De kern

Stel je voor dat je een enorme, chaotische bibliotheek binnenstapt. Deze bibliotheek bevat miljoenen wetenschappelijke artikelen, maar er is een groot probleem: alles ligt in rommelige dozen (PDF-bestanden en HTML-pagina's) die niet voor computers zijn gemaakt, maar voor mensen.

Als je een slimme robot (een "AI-agent") wilt helpen om onderzoek te doen, moet die robot nu elke keer die rommelige dozen openen, alles uitlezen, en proberen te raden wat erin staat. Dit kost veel tijd, veel geld (want AI-rekenkracht is duur), en gaat vaak fout.

DeepXiv-SDK is de oplossing voor dit probleem. Het is als het bouwen van een super-georganiseerd magazijn voor die wetenschappelijke artikelen, speciaal ontworpen voor robots.

Hier is hoe het werkt, in drie simpele lagen:

1. De "Vertaal-Layer" (De Data Layer)

Stel je voor dat je een boek in een vreemde taal hebt, met krullerig handschrift en vage tekeningen. De Data Layer is als een slimme vertaler en archivaris.

• Het pakt het rommelige PDF- of HTML-bestand.
• Het maakt er een perfect gestructureerd, digitaal dossier van (in een formaat dat computers makkelijk begrijpen, genaamd JSON).
• Het sorteert het: "Hier is de titel, hier zijn de auteurs, hier is de samenvatting, en hier is precies waar de experimenten staan."
• Het resultaat: Geen rommel meer, maar een netjes geordend dossier dat een robot direct kan scannen.

2. De "Super-Service" (De Service Layer)

Nu hebben we de dossiers, maar hoe haal je ze op? De Service Layer is als een ultra-snelle, slimme bibliotheekmedewerker die niet alleen boeken geeft, maar ook slimme tips geeft.

• Budgettips: De medewerker zegt: "Wil je het hele boek lezen? Dat kost veel tijd en geld. Wil je eerst alleen de samenvatting? Dat kost bijna niets."
• Geleidelijke toegang: Je hoeft niet direct het hele zware boek te lezen. Je kunt eerst de "hoofdstuk-indeling" bekijken, dan een specifiek hoofdstuk lezen, en pas als je echt bewijs nodig hebt, het hele boek openen.
• Zoekfunctie: Je kunt zeggen: "Zoek artikelen van de laatste maand over 'klimaatverandering' geschreven door 'Jan'." De medewerker vindt ze direct, zonder dat je zelf hoeft te bladeren.

3. De "Robot-Assistent" (De Application Layer)

Dit is de praktische tool die de robot zelf gebruikt.

• In plaats van dat de robot zelf moet zoeken en lezen, kan hij nu gewoon zeggen: "Hey DeepXiv, zoek de beste artikelen over X en geef me een samenvatting."
• De robot doet dit heel slim: hij kijkt eerst snel naar de samenvattingen (goedkoop en snel). Als iets interessant lijkt, leest hij alleen het relevante hoofdstuk. Alleen als hij 100% zeker moet zijn, leest hij het hele artikel.

Waarom is dit zo geweldig? (De Analogie)

Vroeger was onderzoek doen met AI als een hongerige olifant die een hele berg hooi moet eten om één graankorrel te vinden. De olifant (de AI) eet alles op, wordt moe, en het kost enorm veel tijd.

Met DeepXiv-SDK is het alsof je de olifant een slimme snuffelaar geeft die eerst ruikt waar de graankorrel zit.

1. Hij ruikt eerst aan de buitenkant van de berg (de metadata/samenvatting).
2. Als het ruikt naar graan, graaft hij een klein gaatje (leest een sectie).
3. Pas als hij de graankorrel ziet, pakt hij die eruit (leest het bewijs).

Het resultaat:

• Sneller: De robot hoeft niet alles te lezen.
• Goedkoper: Minder lezen betekent minder rekenkracht nodig.
• Betrouwbaarder: De robot maakt minder fouten omdat hij niet door rommelige PDF's hoeft te worstelen.

Kortom: DeepXiv-SDK maakt wetenschappelijke literatuur niet alleen leesbaar voor computers, maar ook beheersbaar, betaalbaar en slim te gebruiken voor de AI's van de toekomst. Het is de brug tussen de chaotische wereld van PDF's en de georganiseerde wereld van slimme robots.

Technische samenvatting

Probleemstelling

Hoewel LLM-agenten (LLM-agents) steeds vaker worden ingezet om wetenschappelijk onderzoek te versnellen, vormen gegevenstoegang een aanhoudende bottleneck. Bestaande workflows hebben te kampen met de volgende problemen:

• Gestructureerde tekortkomingen: Agenten moeten werken met ongestructureerde, mensgerichte data (zoals HTML-webpagina's en PDF-bestanden) in plaats van genormaliseerde data.
• Inefficiëntie en hoge kosten: Het herhaaldelijk parsen en lezen van volledige documenten leidt tot een overmatige verbruik van tokens, wat de werkefficiëntie beperkt en de kosten opdrijft.
• Fragiele bewijsvoering: Het opzoeken van bewijs is vaak onbetrouwbaar omdat het afhangt van document-specifieke opmaak en ontbreekt een gestandaardiseerde interface.
• Ad-hoc workflows: Huidige pipelines vertrouwen op algemene zoekmachines, het openen van PDF's, en heuristische tekstextractie, wat resulteert in een gebrek aan herbruikbaarheid en structuur.

Methodologie: DeepXiv-SDK

DeepXiv-SDK is een geagenteerde data-interface die is ontworpen om wetenschappelijke literatuur op een effectieve, efficiënte en kostenbewuste manier toegankelijk te maken. Het systeem is opgebouwd uit drie lagen:

1. Data Layer (Data-laag)
Deze laag transformeert heterogene bronnen (PDF/HTML van ArXiv) naar genormaliseerde, gestructureerde JSON-representaties.

• Verwerkingspijplijn: Het systeem haalt officiële metadata op, converteert PDF's naar Markdown (met behulp van MinerU) en normaliseert HTML-inhoud.
• Structuurherstel: Het detecteert kopjes en opmaak om een hiërarchische sectie-inventarisatie te creëren.
• Signalen en Signals: Er worden afgeleide signalen gegenereerd, waaronder:
  • Budget hints: Token- en lengtestatistieken op papier- en sectieniveau.
  • Semantische signalen: Korte samenvattingen (TL;DR) van het papier en individuele secties.
  • Context: Citatieaantallen, venue-informatie en sociale aandacht (likes, reposts).
• Output: Een canoniek JSON-formaat met een vaste schema, inclusief een sectie-kaart voor deterministische toegang.

2. Service Layer (Service-laag)
Deze laag biedt een uniforme REST-protocolinterface die agenten kunnen aanroepen.

• Progressieve Toegang: Agenten kunnen kiezen uit verschillende niveaus van toegang, afhankelijk van hun behoeften en budget:
  • Header-view: Metadata, sectie-inventaris en globale kostenindicatoren (lage kosten).
  • Section-view: Gerichte toegang tot specifieke secties zonder het volledige document te laden.
  • Evidence-view: Volledige inhoud voor verificatie (hoge kosten, alleen indien nodig).
• Hybride Zoekopdracht: Biedt zoekfuncties die zowel lexicaal als dichte (vector) indexering combineren, gefilterd op attributen (auteur, categorie, datum, citaties).
• Interfaces: Beschikbaar via REST API, Python SDK, CLI-tool en MCP-connector.

3. Application Layer (Toepassingslaag)
Deze laag bundelt de service-primitieven in kant-en-klare tools voor onderzoekers en agenten.

• Deep Search: Een workflow voor het vinden en filteren van relevante papers binnen tijdsbeperkingen.
• Deep Research: Een workflow voor iteratief lezen van secties om gedetailleerd bewijs te extraheren en vergelijkende tabellen of rapporten te genereren.

Belangrijkste Bijdragen

• Eerste Agente Data Interface: DeepXiv-SDK is de eerste interface die papers behandelt als gestructureerde, tool-aanroepbare objecten met controleerbare toegangskosten, in plaats van als ruwe bestanden.
• Kostenbewuste Architectuur: Door "progressive disclosure" (van header naar sectie naar bewijs) kunnen agenten beslissingen nemen over wat ze lezen voordat ze de volledige contextkosten betalen.
• Schaalbaarheid en Synchronisatie: Het systeem ondersteunt het volledige ArXiv-corpus, wordt dagelijks gesynchroniseerd (binnen 24 uur) en is ontworpen om uit te breiden naar andere corpora (PubMed, bioRxiv, etc.).
• Open Source en Toegankelijk: De SDK, API's en een live demo zijn beschikbaar voor registratie en gebruik.

Resultaten en Evaluatie

De auteurs hebben DeepXiv-SDK geëvalueerd op twee hoofdtaken:

1. Agente Zoekopdrachten (Agentic Search):

   • Vergelijking met platforms zoals Google Scholar, PASA en alpXiv.
   • Resultaat: DeepXiv presteerde beter in Recall@1 en Recall@10 met aanzienlijk lagere latentie. Het vermijdt het lezen van volledige teksten voor elke kandidaat, wat de snelheid verhoogt.

2. Deep Research (Vraag-Antwoord):

   • Vergelijking tussen een traditionele "Search & Read" pipeline (Google Search + Jina Reader) en de DeepXiv-pipeline.
   • Resultaat: De DeepXiv-pipeline verlaagde het token-verbruik en de wall-clock tijd aanzienlijk, terwijl de kwaliteit van de antwoorden (Acc. Score) toenam (van ~40% naar ~65% in sommige tests). Dit komt doordat agenten alleen secties lezen die relevant zijn voor het specifieke bewijs.

3. Performance en Latentie:

   • Bij 1.000 ArXiv-ID's met gelijktijdige verwerking (concurrency = 16) bleek DeepXiv-SDK aanzienlijk sneller dan een traditionele "fetch + parse" workflow.
   • Snelheidswinst: Tot wel 54,6x sneller voor lokale warme toegang (cache-hit) en 39,6x sneller voor externe toegang, vergeleken met het handmatig parsen van PDF's/HTML.

Betekenis en Impact

DeepXiv-SDK lost een fundamenteel probleem op in de AI-for-Science (AI4Science) ruimte. Door papers om te zetten in gestructureerde, budget-bewuste data-objecten, maakt het onderzoek met LLM-agenten:

• Duurzamer: Door het verminderen van token-uitgaven.
• Betrouwbaarder: Door gestructureerde toegang tot bewijs en metadata.
• Schalbaar: Door een robuuste API die dagelijks wordt bijgewerkt en miljoenen verzoeken per dag aankan.

Het paper markeert een verschuiving van het behandelen van wetenschappelijke literatuur als "ruwe data" naar het behandelen ervan als een "data interface", wat essentieel is voor de volgende generatie autonome onderzoekssystemen.