Learning When Not to Decide: A Framework for Overcoming Factual Presumptuousness in AI Adjudication

1. Problématique : La « Présomption Factuelle » en IA Juridique

L'article identifie une limitation critique des systèmes d'intelligence artificielle (IA) appliqués au droit : la présomption factuelle (factual presumptuousness). Il s'agit de la tendance des modèles de langage (LLM) à fournir des réponses confiantes et définitives même lorsque les informations factuelles nécessaires sont insuffisantes ou absentes.

• Contexte : Ce problème est particulièrement aigu dans l'adjudication administrative, comme celle des assurances-chômage (UI). Contrairement aux tests juridiques « ligne claire » (bright-line tests), le droit administratif repose souvent sur des faits incomplets, des témoignages contradictoires et des normes vagues.
• Le danger : Dans le système d'assurance-chômage, un système qui décide prématurément (sans assez de preuves) peut entraîner des refus injustifiés de prestations pour les demandeurs ou des paiements indus récupérés plus tard par l'État, causant des dommages financiers et psychologiques graves (ex: le cas du Michigan en 2015).
• Échec des benchmarks actuels : Les évaluations existantes supposent souvent que toutes les informations pertinentes sont fournies, ne testant pas la capacité du modèle à reconnaître l'insuffisance des preuves et à dire « je ne sais pas » ou « il faut plus d'informations ».

2. Méthodologie et Cadre Expérimental

Les auteurs ont collaboré avec le Colorado Department of Labor and Employment (CDLE) pour accéder à des documents de formation officiels et créer un benchmark réaliste.

A. Le Benchmark (Jeu de Données)

• Source : 250 questions basées sur le droit de l'assurance-chômage du Colorado.
• Structure : Les cas sont conçus pour varier systématiquement en termes de complétude de l'information :
  • Cas complets : Tous les faits nécessaires sont présents.
  • Cas non conclusifs (Inconclusive) : Un à quatre faits critiques sont intentionnellement omis (56 % des cas). C'est ici que le système doit reconnaître l'insuffisance et différer la décision.
• RAG (Retrieval-Augmented Generation) : Tous les modèles reçoivent les mêmes documents juridiques (statuts, règlements, guides d'adjudication) via RAG pour garantir une base de connaissances identique.

B. Le Cadre Proposé : SPEC (Structured Prompting for Evidence Checklists)

Pour résoudre le problème, les auteurs introduisent SPEC, un cadre multi-agent qui force l'identification explicite des lacunes avant toute décision.

• Architecture Multi-Agent :
  1. Agent 1 (Liste de contrôle des exigences) : Extrait une liste structurée des éléments requis par la loi (statuts, jurisprudence, considérations) à partir des documents récupérés.
  2. Agent 2 (Vérification des faits) : Compare les faits du cas avec la liste de contrôle. Il marque chaque élément comme « satisfait » ou « non traité » (manquant). Il applique des principes de vérification stricts (ne pas inférer l'absence de faits, signaler les contradictions).
  3. Agent 3 (Revue de supervision) : Vérifie indépendamment les conclusions des agents précédents. Il a l'autorité de renverser une décision si des lacunes critiques persistent.
• Logique de décision :
  • Si aucune lacune critique n'existe $\rightarrow$ Décision (Éligible/Non éligible).
  • Si des lacunes critiques existent $\rightarrow$ Résultat « Non concluant » avec une liste explicite des informations manquantes nécessaires pour le prochain tour d'enquête factuelle.

3. Contributions Clés

1. Premier jeu de données juridique contrôlé : Un dataset qui isole précisément la présence ou l'absence de faits juridiquement opérants, développé avec l'aide d'experts du domaine (CDLE).
2. Évaluation des modèles de pointe : Une démonstration que quatre plateformes IA majeures (Claude Sonnet 4.5, GPT 5.2, Gemini 3, NotebookLM) échouent massivement sur les cas incomplets, avec une précision moyenne de seulement 15 % sur les cas non conclusifs (elles donnent une réponse binaire au lieu de différer).
3. Analyse du compromis Détermination-Différence : Les auteurs montrent que les méthodes de prompt avancées (Chain-of-Thought, Tree-of-Thoughts) ou les instructions explicites d'attente améliorent la détection des lacunes mais entraînent souvent une sur-correction : le modèle devient trop prudent et refuse de décider même sur des cas clairs.
4. Le cadre SPEC : Une solution qui résout ce compromis (trade-off), permettant d'atteindre une haute précision à la fois sur les cas complets et sur la détection des cas non conclusifs.

4. Résultats Expérimentaux

Les résultats sont présentés en comparant les modèles de base, les modèles avec instructions améliorées, les techniques de prompt avancées et SPEC.

• Performance des modèles standards : Ils échouent catastrophiquement sur les cas non conclusifs (ex: Sonnet 4.5 ne diffère que dans 8 % des cas où il le devrait), préférant émettre des décisions erronées.
• Le compromis (Trade-off) : Les méthodes qui améliorent la détection des lacunes (comme GPT 5.2 avec instructions) deviennent trop conservatrices, chutant à 68 % de précision sur les cas complets.
• Performance de SPEC : SPEC atteint 89 % de précision globale, avec une performance constante de 89 % sur les deux types de cas. Il réussit à éviter à la fois la présomption (décider sans preuves) et l'excès de prudence (ne pas décider quand les preuves suffisent).
• Études d'ablation : L'architecture multi-agent est cruciale. La suppression de l'agent de supervision entraîne une chute significative de la précision sur les cas non conclusifs (de 89 % à 70 %), prouvant que la vérification indépendante est essentielle.

5. Signification et Implications

• Au-delà de la simple précision : L'article démontre que dans les domaines à haut risque comme le droit, la capacité d'un système à reconnaître ses limites épistémiques est aussi importante que sa capacité à raisonner.
• Collaboration Humain-IA : Un système qui identifie explicitement les lacunes (« Il manque le fait X ») fournit un signal clair aux humains, facilitant une collaboration efficace. À l'inverse, une prédiction confiante mais erronée incite à l'erreur humaine (biais d'automatisation).
• Révolution des Benchmarks : Les auteurs appellent à une refonte des benchmarks juridiques pour inclure systématiquement des cas où la réponse correcte est « plus de faits nécessaires », reflétant la réalité de l'adjudication administrative où 87 % des cas nécessitent une recherche de faits supplémentaires.
• Faisabilité : SPEC ne nécessite pas d'architecture complexe ou de nouveaux modèles, mais repose sur une conception rigoureuse du prompting et d'une architecture multi-agent, rendant la solution applicable immédiatement.

En conclusion, ce travail prouve que la présomption factuelle est un problème systématique mais soluble, et que des cadres structurés comme SPEC sont une étape nécessaire pour déployer des systèmes d'IA qui soutiennent réellement le jugement humain plutôt que de le remplacer par des décisions prématurées.