AuditFraudBench: Benchmarking Audit Judgment in Detecting Fraudulent Misstatements

Résumé technique d'AuditFraudBench : Évaluer le jugement d'audit dans la détection des anomalies frauduleuses

Énoncé du problème
Bien que les grands modèles de langage (LLM) aient démontré une certaine maîtrise de l'analyse financière, des prévisions et de la détection d'erreurs factuelles ou numériques de surface, leur capacité à identifier les anomalies financières frauduleuses reste peu explorée. Contra à de simples erreurs, les anomalies frauduleuses impliquent souvent des communications plausibles et apparemment conformes qui occultent des moteurs de performance déformés, des choix comptables opportunistes ou des contextes de risques omis. Ces communications peuvent être cohérentes en interne dans leurs chiffres, mais stratégiquement formulées pour induire les investisseurs en erreur concernant les véritables sources de performance (par exemple, attribuer la croissance à des opérations durables alors qu'elle est en réalité pilotée par un décalage de reconnaissance de revenus ou un report de charges). Les benchmarks existants se concentrent principalement sur la vérification des faits, la cohérence numérique ou la conformité aux règles, échouant ainsi à évaluer la tâche plus complexe consistant à détecter les récits stratégiquement trompeurs et les manipulations comptables déguisées fondées sur des cas réels de mise en œuvre de sanctions.

Méthodologie
Pour combler cette lacune, les auteurs introduisent AuditFraudBench, un benchmark fondé sur des cas de mise en œuvre (enforcement-grounded) construit à partir de documents officiels d'entreprises et de documents réglementaires authentiques. Le jeu de données est dérivé des communiqués de l'administration américaine sur les mesures de sanctions en matière de comptabilité et d'audit (AAERs) de la SEC, des rapports 10-K et 10-Q originaux et rectifiés, des états financiers structurés et des communications de la direction (MD&A).

Le pipeline de construction du benchmark comprend :

1. Collecte de données : Exploration des pages d'index des AAER de la SEC pour extraire les métadonnées et téléchargement des documents de sanction.
2. Traitement et nettoyage : Extraction de texte, segmentation et contrôle de qualité pour éliminer les fichiers corrompus ou non analysables.
3. Identification des cas : Utilisation d'une combinaison de caractéristiques basées sur des règles et de compréhension sémantique (via DeepSeek) pour identifier les cas substantiels de manipulation comptable.
4. Amélioration structurée et alignement : Extraction de champs spécifiques (ex. : mécanismes de manipulation, périodes fiscales) et alignement des AAER avec les rapports originaux et rectifiés correspondants du système EDGAR de la SEC pour créer des paires « original–rectifié ».
5. Construction d'échantillons : Intégration de signaux de faits financiers structurés (données XBRL) et de signaux de preuves narratives (passages MD&A) pour former des échantillons supervisés.

Le benchmark évalue les LLM à travers trois tâches complémentaires :

• Tâche 1 : Attribution de la source de profit : Déterminer si l'explication d'une direction concernant un changement de performance est correcte ou trompeuse, et identifier le véritable moteur sous-jacent (ex. : reconnaissance prématurée de revenus, libération de provisions) sur la base des chiffres originaux versus rectifiés.
• Tâche 2 : Détection de récits trompeurs : Évaluer si un passage de communication crée une impression trompeuse (ex. : par une emphase sélective ou un contexte omis) même si le texte n'est pas explicitement faux de manière isolée.
• Tâche 3 : Classification des schémas de fraude : Cartographier le mécanisme de faute spécifique décrit dans les mesures de sanction vers des catégories prédéfinies : décalage de revenus (Revenue Timing), estimation comptable (Accounting Estimate), lissage des résultats (Earnings Smoothing), report de charges (Expense Deferral) ou distorsion narrative (Narrative Distortion).

Contributions clés

1. Jeu de données AuditFraudBench : La création du premier benchmark fondé sur des cas de mise en œuvre, spécifiquement conçu pour évaluer les LLM sur la détection de la désinformation financière frauduleuse dans le reporting d'entreprise audité, en se concentrant sur les récits trompeurs et les manipulations comptables déguisées.
2. Conception de tâches : La formulation de trois tâches complémentaires qui exigent que les modèles raisonnent conjointement sur les chiffres financiers, le cadrage des communications, les preuves de rectification et les mécanismes de fraude fondés sur la mise en œuvre, allant au-delà de la simple vérification des faits.
3. Évaluation fondée sur les preuves : La construction du benchmark à partir de sources réglementaires authentiques (AAERs) et de rapports, permettant une évaluation qui reflète mieux le jugement d'audit et l'analyse des communications pertinentes pour l'investisseur.

Résultats d'évaluation
Les auteurs ont évalué une gamme de LLM propriétaires (série GPT) et open-source (séries DeepSeek, Qwen), incluant des variantes avec et sans raisonnement.

• Tâche 1 (Attribution de la source de profit) : La plupart des modèles ont atteint une précision de classification quasi parfaite (souvent 1,000), identifiant correctement si une attribution était trompeuse. Cependant, les métriques d'explication (ROUGE) sont restées faibles (ex. : GPT-5.5 n'a atteint que 0,249 ROUGE-1), indiquant que les modèles échouent souvent à articuler précisément le véritable moteur comptable malgré une classification correcte.
• Tâche 2 (Détection de récits trompeurs) : Cette tâche s'est avérée la plus difficile. Tous les modèles ont mal performé, le meilleur modèle (Qwen3-32b-R) n'atteignant que 0,245 de précision et 0,393 de F1. Cela suggère des défis importants pour détecter des impressions trompeuses qui ne sont pas explicitement fausses.
• Tâche 3 (Classification des schémas de fraude) : Les modèles ont montré une capacité modérée mais limitée. GPT-5.5 a obtenu la plus haute précision de classification (0,522), tandis que Qwen3-32b-R a obtenu les meilleurs scores d'explication.
• Observations générales :
  • Raisonnement vs Non-raisonnement : Les modèles optimisés pour le raisonnement n'ont pas systématiquement surpassé leurs homologues sans raisonnement ; dans certains cas, ils ont été moins performants.
  • Échelle du modèle : L'augmentation de la taille du modèle (ex. : de Qwen3-8b à Qwen3-32b) n'a pas garanti d'amélioration, particulièrement pour la qualité de l'explication.
  • Performance des familles : Les modèles propriétaires puissants (GPT, DeepSeek) n'ont pas dominé de manière fiable les modèles open-source plus petits (Qwen) sur tous les indicateurs.

Signification
L'article soutient qu'AuditFraudBench fournit un banc d'essai exigeant pour l'évaluation des LLM sur des données fondées sur des preuves et pertinentes pour l'audit. Les résultats indiquent que les modèles actuels, quelle que soit leur taille ou leur architecture, peinent à raisonner conjointement sur les preuves financières, le cadrage narratif et les mécanismes de fraude fondés sur la mise en œuvre. Les auteurs concluent que la détection de telles désinformations intentionnellement déguisées et à haut risque nécessite des capacités de raisonnement financier et comptable spécialisées qui dépassent la simple échelle du modèle ou le réglage de raisonnement générique. Le benchmark sert ainsi d'outil nécessaire pour évaluer systématiquement si les LLM peuvent soutenir l'analyse financière et l'assistance à l'audit dans la reconnaissance de la désinformation stratégique.