DeepXiv-SDK: An Agentic Data Interface for Scientific Literature

Ce papier présente DeepXiv-SDK, une interface de données agentic à trois couches qui transforme la littérature scientifique non structurée en formats normalisés et fournit des outils d'accès efficaces pour les agents LLM, couvrant actuellement l'ensemble du corpus ArXiv avec une synchronisation quotidienne.

L'essentiel

Imaginez que vous êtes un détective scientifique très intelligent (un "agent IA"), chargé de résoudre des mystères en lisant des millions de rapports de police (les articles scientifiques).

Le problème actuel ? Ces rapports sont stockés dans des archives poussiéreuses, écrits dans des formats bizarres (PDF, HTML), avec des polices illisibles et des tableaux collés de travers. Pour trouver une information précise, votre détective doit d'abord ouvrir chaque dossier, déchiffrer le code, lire tout le texte, et souvent se perdre dans des détails inutiles. C'est lent, ça coûte cher en énergie (et en "jetons" pour l'IA), et c'est fragile : si un dossier est mal rangé, le détective échoue.

DeepXiv-SDK est la solution proposée par les auteurs de cette étude. C'est comme si on transformait toute la bibliothèque d'arXiv (la plus grande bibliothèque d'articles scientifiques au monde) en une bibliothèque intelligente, robotisée et ultra-organisée.

Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le Problème : Le "Désordre Numérique"

Aujourd'hui, quand une IA veut lire un article, elle doit faire du "bricolage" : elle télécharge un fichier PDF, essaie de le convertir en texte, et espère que le logiciel ne va pas planter à cause d'une formule mathématique mal formatée. C'est comme essayer de cuisiner un repas en essayant de déchiffrer une recette écrite sur un essuie-tout mouillé.

2. La Solution : DeepXiv-SDK (Le "Conciergerie Numérique")

DeepXiv-SDK agit comme un concierge surpuissant qui a déjà préparé tous les dossiers pour vous. Il ne vous donne pas le PDF brut ; il vous donne un résumé structuré, propre et prêt à l'emploi.

L'outil fonctionne en trois étages (comme un immeuble) :

• L'Étage 1 : La Cuisine (Couche de Données)
  Imaginez un chef qui prend tous les ingrédients bruts (les PDF, les HTML) et les transforme en plats prêts à servir, présentés dans des assiettes standardisées (format JSON).

  • Il nettoie le texte.
  • Il identifie les sections (Introduction, Méthodes, Résultats).
  • Il ajoute des étiquettes intelligentes : "Ce papier a été lu 10 000 fois", "Il cite tel autre auteur", "Il coûte 500 jetons à lire".
  • Résultat : Plus besoin de cuisiner soi-même, tout est prêt.

• L'Étage 2 : Le Service de Livraison (Couche de Service)
  C'est le système de commande. Au lieu de forcer le détective à lire tout le livre, il propose un menu progressif :

  • Menu "Aperçu" (Header) : Vous donne juste le titre, les auteurs et un résumé ultra-court. C'est gratuit et rapide. Idéal pour trier 1000 articles en 1 seconde.
  • Menu "Chapitre" (Section) : Si l'aperçu vous intéresse, vous demandez juste le chapitre "Résultats". Vous ne payez que pour ce chapitre.
  • Menu "Plat Complet" (Preuve) : Seulement si vous avez besoin de vérifier une preuve précise, vous commandez le texte intégral.
  • L'analogie : C'est comme aller au cinéma. Au lieu d'acheter un billet pour tout le film tout de suite, vous pouvez d'abord voir la bande-annonce (gratuit), puis un extrait de 5 minutes, et enfin le film complet si ça vous plaît vraiment.

• L'Étage 3 : L'Assistant Personnel (Couche d'Application)
  C'est l'outil que l'IA utilise directement. Il combine la cuisine et le service de livraison pour faire le travail à votre place. Vous lui dites : "Trouve-moi les 10 meilleurs articles sur la robotique publiés le mois dernier et compare leurs résultats". L'assistant va chercher, trier, lire uniquement les parties importantes et vous donner un tableau comparatif propre.

3. Pourquoi c'est révolutionnaire ? (Les Avantages)

• Économie d'argent et de temps : Lire un article entier coûte cher en "jetons" (la monnaie des IA). Avec DeepXiv, l'IA ne lit que ce qui est nécessaire. C'est comme lire le sommaire d'un livre avant d'acheter le livre entier.
• Fiabilité : Plus de bugs de lecture. Les données sont normalisées. L'IA ne se trompe pas parce qu'un tableau était mal formaté.
• Recherche intelligente : L'outil permet de filtrer par "qui a écrit", "quand", "combien de fois cité", avant même de lire une ligne de texte.

En résumé

DeepXiv-SDK transforme la façon dont les intelligences artificielles accèdent à la science. Au lieu de leur donner une pile de documents bruts et de leur dire "lis tout et trouve ce que tu veux", on leur donne une interface de données structurée qui leur permet de :

1. Trier rapidement (grâce aux résumés).
2. Lire intelligemment (seulement les sections utiles).
3. Vérifier précisément (en accédant aux preuves seulement si nécessaire).

C'est passer d'une recherche laborieuse et coûteuse à une enquête scientifique fluide, rapide et économique.

Résumé technique

1. Problématique

L'essor des agents basés sur les LLM (Large Language Models) pour la recherche scientifique se heurte à un goulot d'étranglement majeur : l'accès aux données.

• Données non structurées : Les agents doivent actuellement traiter des documents bruts (HTML, PDF) conçus pour la lecture humaine, ce qui entraîne une consommation excessive de tokens et une efficacité réduite.
• Fragilité du parsing : Les pipelines actuels reposent sur des méthodes heuristiques pour extraire du texte à partir de formats variés, rendant la récupération de preuves (evidence look-up) fragile et peu reproductible.
• Absence d'interface standardisée : Il n'existe pas d'interface unifiée permettant aux agents d'accéder aux métadonnées, à la structure du document et aux preuves de manière contrôlée et progressive. Cela force les modèles à raisonner sur du texte bruité sans notion claire de coût ou de portée des preuves.

2. Méthodologie : DeepXiv-SDK

Pour répondre à ces défis, les auteurs proposent DeepXiv-SDK, une interface de données agentic en trois couches, conçue pour transformer les articles scientifiques en objets structurés, normalisés et accessibles avec un coût contrôlé.

A. Couche Données (Data Layer)

Cette couche transforme les artefacts hétérogènes d'arXiv (PDF/HTML) en une représentation canonique normalisée au format JSON.

• Pipeline de traitement : Récupération des métadonnées officielles, conversion des PDF en Markdown (via MinerU) et extraction du contenu HTML.
• Reconstruction de la structure : Détection des titres et de la hiérarchie pour créer un inventaire de sections ordonné.
• Enrichissement des signaux :
  • Indices de budget : Estimations du nombre de tokens et de la longueur (global et par section).
  • Résumés légers : Génération de TL;DR (résumés) pour l'article entier et par section.
  • Contexte : Liens vers des ressources (GitHub), métriques de citations, et signaux d'attention sociale (vues, likes).
• Stockage : Persistance de plusieurs vues matérialisées (aperçu, section, preuve) avec des champs de provenance.

B. Couche Service (Service Layer)

Cette couche expose une interface unifiée (REST API) permettant un accès progressif et une récupération hybride.

• Accès progressif : Les agents peuvent accéder aux données par niveaux de densité d'information et de coût croissant :
  1. Vue En-tête (Header) : Métadonnées, inventaire des sections, indices de coût globaux.
  2. Vue Section : Lecture ciblée de sections spécifiques sans ingérer tout le document.
  3. Vue Preuve (Evidence) : Contenu complet pour vérification finale.
• Récupération Hybride : Combinaison d'index lexicaux et denses, permettant de filtrer les candidats par attributs (auteurs, catégories, période, citations) avant la lecture.
• Interfaces Client : SDK Python, connecteur MCP (Model Context Protocol) et outil CLI.

C. Couche Application (Application Layer)

Cette couche fournit des agents et des flux de travail prêts à l'emploi :

• Deep Search : Construction, filtrage et classement d'ensembles de candidats via des signaux à faible coût (en-têtes).
• Deep Research : Lecture itérative de sections pour extraire des preuves détaillées et générer des rapports ou des tableaux comparatifs liés aux preuves.

3. Contributions Clés

• Interface Normalisée : Première interface de données conçue spécifiquement pour les agents, transformant les articles en objets structurés avec un coût d'accès contrôlable.
• Paradigme d'Accès Progressif : Introduction d'un mécanisme de « triage à faible coût » (header-first) permettant aux agents de décider quoi lire et combien lire avant d'engager le coût complet du contexte.
• Évolutivité et Synchronisation : Déploiement à l'échelle de l'ensemble du corpus ArXiv, avec une synchronisation quotidienne (sous 24h) des nouvelles publications.
• Outils Ouverts : Publication d'une API REST, d'un SDK Python open-source et d'une démo web fonctionnelle.

4. Résultats et Évaluation

Les auteurs ont évalué DeepXiv-SDK sur deux familles de tâches : la recherche d'articles et la recherche approfondie (Deep Research).

• Recherche d'articles (Agentic Search) :
  • Sur 50 requêtes multi-contraintes, DeepXiv surpasse les plateformes existantes (Google Scholar, alpXiv, etc.) en termes de Recall@1/10 et de latence.
  • Il est significativement plus rapide car il évite la lecture intégrale des articles pour le filtrage initial.
• Recherche Approfondie (Deep Research QA) :
  • Comparé à un pipeline traditionnel « Recherche & Lecture » (Search & Read), DeepXiv réduit considérablement la consommation de tokens et le temps d'exécution.
  • La qualité des réponses est améliorée grâce à une meilleure ancrage des preuves (evidence grounding) et une réduction du bruit.
• Performance Latence :
  • Le système gère des millions de requêtes par jour.
  • Avec la mise en cache (Redis), la latence pour les accès fréquents (ex: JSON) est de l'ordre de 180 ms (à distance), soit une accélération massive par rapport au temps de récupération + parsing traditionnel (environ 7,2 secondes par article).

5. Signification et Impact

DeepXiv-SDK représente un changement de paradigme dans l'interaction entre les agents IA et la littérature scientifique :

• Efficacité Économique : En évitant l'ingestion inutile de texte complet, il réduit drastiquement les coûts d'inférence des LLM.
• Fiabilité Scientifique : En fournissant un accès structuré et traçable aux preuves, il renforce la fiabilité des conclusions tirées par les agents.
• Réutilisabilité : L'approche modulaire permet d'étendre le système à d'autres corpus en accès libre (PubMed, bioRxiv, etc.), posant les bases d'une infrastructure standardisée pour l'IA scientifique (AI4Science).

En résumé, DeepXiv-SDK ne se contente pas d'indexer des papiers ; il les transforme en interfaces de données actionnables, permettant aux agents de naviguer, de filtrer et de vérifier les informations de manière rationnelle, économique et reproductible.