Résumé Technique : AUDITFLOW

Énoncé du Problème

La vérification d'audit financier structuré présente un défi majeur pour les agents de modèles de langage étendus (LLM). Contrairement aux tâches textuelles standards, la justesse dans l'audit financier dépend de l'évidence structurée plutôt que du langage naturel seul. Un agent doit lier les faits rapportés à des concepts taxonomiques spécifiques, traverser des relations de calcul ou dimensionnelles complexes, re-calculer les valeurs attendues et appliquer des règles d'audit.

Les approches actuelles échouent souvent car elles reposent sur le LLM pour effectuer l'interprétation finale, l'arithmétique ou l'application de règles. Les benchmarks comme FinAuditing montrent que même les modèles les plus performants n'atteignent que 13,86 % de précision sur les tâches de cohérence numérique. La difficulté fondamentale réside dans le fait que la justesse n'est pas stockée dans une phrase unique, mais émerge de l'interaction entre les faits rapportés et les contraintes structurelles qui les régissent. Les cadres existants, qu'ils soient augmentés par des outils ou multi-agents, laissent souvent la charge de la vérification au modèle de langage, qui peine avec l'arithmétique déterministe et le respect strict des règles.

Méthodologie : AUDITFLOW

Les auteurs proposent AUDITFLOW, un cadre multi-agent ancré dans un graphe, conçu pour séparer la recherche adaptative (gérée par les agents LLM) de la vérification déterministe (gérée par un environnement symbolique).

1. Environnement Symbolique à Double Graphe

AUDITFLOW construit un environnement symbolique ($E$) composé de deux graphes interconnectés :

• Graphe Réglementaire Statique ($G^y_T$) : Encode la taxonomie US-GAAP. Les nœuds représentent des concepts avec des métadonnées (étiquettes, définitions, types de données), et les arêtes encodent les relations de présentation, de calcul et de dimension.
• Graphe de Publication Dynamique ($G_F$) : Encode la publication XBRL spécifique. Les nœuds représentent des faits rapportés, des contextes, des périodes et des unités.
• Arêtes de Liaison (Bridge Edges) : Relient les faits rapportés dans le graphe de publication à leurs concepts taxonomiques directeurs dans le graphe statique, permettant au système de naviguer d'un chiffre spécifique vers ses contraintes réglementaires et inversement.

2. Interface Action-Observation Typée

Les agents interagissent avec cet environnement via des outils typés et déterministes plutôt que par des opérations de graphe en langage libre. Les outils sont classés en :

• Récupération (Retrieval) : Récupérer les métadonnées de concepts, les faits et les contextes.
• Traversée (Traversal) : Naviguer dans les arbres de calcul et les structures dimensionnelles.
• Forensique : Comparer les faits à travers les périodes, les dimensions et les ordres de grandeur.
• Vérificateurs Déterministes : Exécuter des contrôles terminaux spécifiques aux règles (ex: cohérence de signe, cohérence de l'arbre de calcul, agrégation dimensionnelle). Ces vérificateurs renvoient des observations structurées (verdicts, valeurs attendues, faits de support) que le LLM ne peut pas outrepasser.

3. Protocole d'Audit à Trois Agents

Le cadre emploie un flux de travail multi-agent spécialisé :

• Auditeur de Conformité ($A_1$) : Adopte une approche « axée sur la spécification ». Il part des métadonnées et des règles de la taxonomie, puis vérifie les faits rapportés par rapport aux contraintes. Il utilise des outils de taxonomie statique.
• Auditeur Forensique ($A_2$) : Adopte une approche « axée sur la preuve ». Il part des faits rapportés, effectue des comparaisons de périodes et des décompositions dimensionnelles, puis confirme les résultats à l'aide des mêmes contrôles déterministes. Il utilise des outils statiques et dynamiques.
• Auditeur Senior ($A_s$) : Révise les rapports de $A_1$ et $A_2$. Si ils sont d'accord, le système procède. S'ils sont en désaccord, l'Auditeur Senior identifie la source du conflit (ex: fait manquant, mauvaise période) et fournit un feedback ciblé, renvoyant les juniors pour une investigation plus approfondie. L'Auditeur Senior gère l'interaction mais ne remplace pas les outils déterministes.

4. Agrégation d'Évidence

Le verdict final n'est pas un simple vote, mais le résultat d'un raisonnement de preuve (théorie de Dempster-Shafer). Chaque rapport d'auditeur junior est mappé sur une fonction de masse sur les hypothèses {Violation, Cohérent, Ignorance}. Ces masses sont fusionnées pour produire un verdict final, une valeur attendue, une piste de preuve et un score de fiabilité ($\tau$), qui mesure la quantité d'évidence non résolue.

Contributions Clés

1. Définition de la Vérification Ancrée dans un Graphe : Le papier définit une nouvelle formulation de tâche où la réponse dépend des faits de la publication, des contraintes taxonomiques, des contrôles numériques et de preuves inspectables, plutôt que de la seule génération de texte.
2. Cadre AUDITFLOW : Un système multi-agent à double graphe qui connecte la connaissance de la taxonomie US-GAAP avec l'évidence spécifique à la publication, en exposant les deux via des outils déterministes typés.
3. Séparation Recherche-Calcul : Les auteurs démontrent que séparer le rôle du LLM (guider la recherche) de celui de l'environnement (exécuter les contrôles déterministes) est crucial pour une vérification d'audit fiable.

Résultats Expérimentaux

Le cadre a été évalué sur un sous-ensemble de 67 instances de la tâche FinAuditing FinMR, couvrant trois familles de règles du Comité de Qualité des Données (DQC).

• Performance : Sous GPT-5.5, AUDITFLOW a atteint une précision d'audit conjointe de 82,09 %, surpassant la meilleure ligne de base (Agent Unique) de 14,93 points de pourcentage. Il a également surpassé les méthodes basées sur la récupération (GraphRAG, TreeRAG) et les benchmarks existants (FinAuditing, Herculean) sur tous les modèles de base testés (GPT-4o, Claude Sonnet 4.6, Qwen-397B).
• Robustesse : Le système a maintenu une précision élevée (80,60 %) à travers différents modèles de base puissants, indiquant que l'efficacité du cadre n'est pas liée à un seul modèle propriétaire.
• Études d'Ablation :
  • Contrôles Déterministes : Le retrait des contrôles déterministes de l'environnement symbolique a fait chuter la précision de 82,09 % à 17,91 %, prouvant que le LLM ne peut pas remplacer de manière fiable l'étape de vérification.
  • Porte de l'Outil Obligatoire (Required-Tool Gate) : Le retrait de la porte forçant les agents à terminer des contrôles spécifiques avant de finaliser a augmenté les sorties invalides de 1,49 % à 17,91 %.
  • Agrégation d'Évidence : Le retrait de l'étape de fusion a réduit la précision à 77,61 %.

Signification et Revendications

Le papier soutient que les agents d'audit fiables doivent être construits autour d'environnements structurés exécutables plutôt que sur un raisonnement purement textuel. La principale contribution est la démonstration que si les LLM sont efficaces pour naviguer dans des espaces d'information complexes (recherche), ils sont peu fiables pour effectuer les étapes de vérification finales et critiques (calcul).

Les auteurs affirment qu'AUDITFLOW répond avec succès au « fossé de vérification » de l'IA financière en :

1. Délégant l'arithmétique et l'application de règles à des outils déterministes.
2. Utilisant des protocoles multi-agents pour explorer les preuves sous des perspectives complémentaires.
3. Fournissant des pistes de preuves inspectables et des scores de fiabilité, rendant le processus d'audit transparent et auditable.

Le papier conclut que ce modèle de conception — séparer la recherche du calcul dans un environnement symbolique — est essentiel pour les domaines à enjeux élevés où la justesse dépend de contraintes structurées plutôt que de plausibilité sémantique.