AutoVerifier: An Agentic Automated Verification Framework Using Large Language Models

1. Problématique

L'analyse des Renseignements Scientifiques et Techniques (S&TI) vise à évaluer la maturité et les capacités des technologies émergentes pour guider les investissements et les décisions de sécurité nationale. Cependant, face à l'explosion des publications scientifiques, le défi majeur n'est plus la rareté de l'information, mais la validité du signal.

Les approches existantes (comme la reconnaissance d'entités nommées ou les systèmes de vérification des faits) échouent à combler le fossé entre la précision factuelle de surface et la validité méthodologique profonde. Elles peinent à détecter :

• Les affirmations exagérées (overclaims) où les conclusions dépassent les preuves.
• Les incohérences méthodologiques internes.
• Les conflits d'intérêts non divulgués ou les biais de cadrage.
• Les contradictions entre sources indépendantes.

Les Grands Modèles de Langage (LLM) offrent un potentiel de raisonnement, mais sont sujets aux hallucinations et aux conclusions plausibles mais non étayées. Il existe donc un besoin critique d'un cadre structuré pour automatiser la vérification technique sans nécessiter d'expertise de domaine préalable.

2. Méthodologie : Le Cadre AutoVerifier

AutoVerifier est un cadre agentique basé sur les LLM qui transforme la vérification en un processus structuré en six couches progressives. Inspiré par l'ontologie de Palantir, le système décompose chaque affirmation technique en triplets structurés (Sujet, Prédicat, Objet) pour construire un graphe de connaissances, permettant un raisonnement structuré plutôt qu'une inférence en texte libre.

Les Six Couches du Pipeline :

1. Construction et Ingestion du Corpus :

   • Collecte de documents divers (articles académiques, brevets, profils d'auteurs) avec filtrage de qualité et de biais.
   • Traitement multimodal : extraction de texte, de métadonnées et de visuels (graphiques, schémas) via des modèles vision-langage, stockés dans une base de données vectorielle.

2. Extraction d'Entités et de Revendications (Claim Extraction) :

   • Identification des entités clés (organisations, chercheurs, algorithmes).
   • Décomposition des affirmations en triplets structurés.
   • Classification de la provenance : Attribution d'un niveau de preuve (de 1 à 5), allant des données expérimentales (Niveau 1) aux simples assertions d'auteurs sans preuve (Niveau 5).
   • Normalisation des métriques quantitatives.

3. Vérification Intra-Document :

   • Audit de la cohérence interne d'un document.
   • Utilisation de l'inférence linguistique (NLI) pour vérifier si les preuves internes (texte, figures) soutiennent les triplets de revendications.
   • Détection des exagérations (overclaims) : identification des cas où l'abstract ou la conclusion dépassent les résultats des sections méthodes.

4. Vérification Inter-Sources (Cross-Source) :

   • Triangulation des affirmations à travers des sources indépendantes (réfutations, études de suivi, benchmarks).
   • Analyse des contradictions et recherche des causes racines (différences méthodologiques, conditions expérimentales incompatibles).
   • Évaluation de l'indépendance des sources (chevauchement d'auteurs, affiliations) pour pondérer leur crédibilité.
   • Détection de la « distorsion de citation » (quand une source cite mal une autre pour soutenir une affirmation).

5. Corroboration par Signaux Externes :

   • Intégration de signaux non académiques : profils financiers, dépôts de brevets, relations commerciales.
   • Détection des conflits d'intérêts (liens entre auteurs et entreprises commerciales).
   • Cartographie des dépendances de la chaîne d'approvisionnement et analyse temporelle des annonces stratégiques (lancement de produits vs publication d'articles).

6. Matrice d'Hypothèses et Rapport Final :

   • Agrégation de toutes les preuves enrichies pour générer des hypothèses testables et des contre-hypothèses.
   • Estimation de la confiance (faible, moyenne, haute) basée sur l'entropie sémantique et l'accord entre plusieurs LLM.
   • Production d'une matrice de maturité technologique et d'une évaluation finale (Soutenu, À réviser, Hallucination probable).

3. Étude de Cas et Résultats

Le cadre a été testé sur une affirmation controversée en informatique quantique concernant l'algorithme BF-DCQO développé par Kipu Quantum, qui prétendait offrir un avantage de temps d'exécution quantique par rapport aux solveurs classiques. L'équipe de recherche n'avait aucune expertise préalable en quantique.

Résultats clés de l'analyse :

• Détection d'incohérences internes : Le système a identifié que l'affirmation d'un avantage de « plusieurs ordres de grandeur » dans l'abstract n'était pas soutenue par les données expérimentales (qui montraient un avantage médian de 5 à 7 fois, et seulement un cas extrême de 80 fois).
• Problèmes de définition des métriques : La comparaison était biaisée car les temps d'exécution quantiques excluaient les coûts de transpilation (~2s), tandis que les temps classiques incluaient des configurations sous-optimales (un seul thread CPU).
• Contradictions Inter-Sources : Toutes les évaluations indépendantes (y compris une réfutation de D-Wave) ont contredit l'avantage quantique. Une expérience de contrôle « BF-Null » (remplacement du processeur quantique par une boucle classique) a produit des résultats comparables, suggérant que la partie classique du pipeline était le moteur de la performance.
• Conflits d'intérêts et Signaux Externes : Le système a révélé que tous les auteurs étaient employés par Kipu Quantum, que l'algorithme était un produit commercial vendu sur le catalogue d'IBM, et qu'IBM fournissait à la fois le matériel quantique, le solveur classique de référence (CPLEX) et co-écrivait les benchmarks.
• Évolution de la revendication : Le système a tracé le recul de l'auteur lui-même, passant d'un « avantage quantique » (mai 2025) à un « calcul quantique hybride séquentiel » (octobre 2025), puis à la reconnaissance que les solveurs classiques surpassent leur approche (mars 2026).

Conclusion de l'étude :
AutoVerifier a classé l'affirmation d'avantage de temps d'exécution comme « Hallucination probable » (ou artefact de mesure), tout en confirmant que la technologie fonctionnait sur du matériel réel (Niveau de maturité technologique TRL 4-5).

4. Contributions Clés

1. Cadre de Vérification Structuré : Passage d'une simple synthèse de texte à une vérification méthodologique rigoureuse via des triplets de connaissances et un graphe de raisonnement.
2. Indépendance de Domaine : Démonstration qu'un système automatisé peut évaluer des technologies complexes (comme le quantique) sans expertise humaine préalable, en s'appuyant sur la structure logique des preuves plutôt que sur la connaissance sémantique brute.
3. Détection Multi-Couche des Biais : Capacité à corréler des incohérences techniques (couches 1-4) avec des signaux commerciaux et financiers (couche 5) pour révéler des conflits d'intérêts systémiques.
4. Réduction des Hallucinations : L'utilisation de la vérification intra-document et de l'analyse de la provenance limite les risques d'accepter des affirmations non étayées.

5. Signification et Impact

Ce travail démontre que les LLM peuvent être structurés pour passer du rôle de « générateurs de texte » à celui d'analystes de renseignement fiables. AutoVerifier comble le fossé critique entre la vérification factuelle superficielle et l'évaluation de la validité scientifique profonde.

Pour les décideurs en R&D, en sécurité nationale et en investissement, ce cadre offre la capacité de transformer des documents techniques bruts en renseignements traçables et étayés par des preuves, permettant de distinguer les percées opérationnelles réelles des contributions purement théoriques ou des stratégies de marketing exagérées. L'approche suggère également une évolution vers une surveillance continue des technologies émergentes, transformant l'analyse statique en une ressource de renseignement dynamique.