An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software

Cet article présente une approche agentic pilotée par les LLM pour développer des logiciels juridiques critiques, comme la préparation des déclarations d'impôts, en automatisant la génération de tests métamorphiques via un système multi-agents qui démontre, avec un modèle plus petit, une fiabilité supérieure à celle des modèles de pointe dans la traduction de codes fiscaux en logique exécutable.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans expertise en informatique ou en droit.

🧠 Le Problème : Traduire le "Droit" en "Code" sans se tromper

Imaginez que vous devez construire une machine à café très sophistiquée. Mais au lieu de recevoir un manuel d'instructions simple, vous recevez un livre de 500 pages écrit dans une langue très complexe, remplie de nuances, d'exceptions et de règles qui changent tout le temps. C'est ce que font les logiciels de déclaration d'impôts : ils doivent transformer des lois fiscales (écrites en langage humain) en code informatique (langage machine).

Le problème, c'est que les Intelligences Artificielles (IA) actuelles, comme les grands modèles de langage (LLM), sont très douées pour écrire du texte, mais elles ont tendance à :

1. Halluciner : Inventer des règles qui n'existent pas.
2. Se tromper sur les détails : Oublier une exception importante.
3. Manquer de cohérence : Dire une chose aujourd'hui et son contraire demain.

Dans le domaine des impôts, une erreur n'est pas juste un bug gênant ; c'est un problème légal grave.

🤖 La Solution : L'Équipe "Synedrion"

Au lieu de demander à une seule IA (un "génie solitaire") de faire tout le travail, les auteurs ont créé une équipe d'agents IA, qu'ils appellent Synedrion. C'est comme si vous engagiez une petite entreprise de construction au lieu d'un seul maçon.

Voici les membres de cette équipe :

1. L'Expert Fiscal (Le Traducteur) : C'est le spécialiste du droit. Il lit les lois complexes et les transforme en un plan de construction très clair (un fichier JSON structuré). Il s'assure que les règles sont bien comprises avant de commencer.
2. Les Codeurs (Les Maçons) : Il y a deux codeurs qui écrivent le programme informatique en suivant le plan de l'Expert.
3. Le Chef d'Équipe (Le Superviseur) : Il vérifie le travail des codeurs. Si le code ne correspond pas au plan, il le renvoie pour être corrigé.
4. L'Inspecteur de Contrôle Qualité (Le Détective) : C'est la pièce maîtresse de l'innovation. Il ne vérifie pas seulement si le code fonctionne, il vérifie si les résultats sont logiques par rapport à d'autres situations.

🔍 L'Innovation Magique : Le "Test Métamorphique"

C'est ici que l'analogie devient intéressante.

Imaginez que vous testez votre machine à café.

• Le test classique : Vous mettez de l'eau et du café, et vous vérifiez si ça sort. Le problème ? Vous ne savez pas toujours à quoi doit ressembler le "parfait" café (c'est le "problème de l'oracle").
• Le test métamorphique (la méthode de l'Inspecteur) : Vous ne cherchez pas la réponse parfaite. Vous cherchez la cohérence.
  • Exemple simple : Si je double la quantité de café, le goût doit être plus fort, pas plus faible.
  • Exemple fiscal : Si un aveugle paie moins d'impôts qu'une personne voyante avec le même revenu, c'est cohérent avec la loi.

La grande avancée de ce papier : L'Inspecteur ne se contente pas de comparer deux situations (A vs B). Il utilise une méthode d'ordre supérieur. Il compare plusieurs situations en même temps pour voir si la vitesse de changement est correcte.

L'analogie de l'escalier :
Imaginez un escalier où chaque marche représente un niveau de revenu.

• Une IA classique pourrait construire un escalier où chaque marche a la même hauteur (ce qui est faux pour les impôts progressifs).
• L'Inspecteur "Ordre Supérieur" regarde la pente globale. Il se dit : "Attends, si je monte de la marche 1 à la 2, la pente est douce. Si je monte de la 2 à la 3, la pente doit devenir plus raide. Si elle reste douce, l'escalier est mal construit !"

Cela permet de détecter des erreurs subtiles que les tests classiques ratent.

🏆 Les Résultats : Les Petits Gagnent contre les Géants

Le résultat le plus surprenant de l'étude est le suivant :

• Les modèles géants (comme GPT-4o ou Claude-3.5), utilisés seuls, font des erreurs, surtout sur les tâches très complexes. Ils sont comme des génies qui rêvent trop et oublient les détails.
• Le modèle plus petit (GPT-4o-mini), lorsqu'il est guidé par l'équipe Synedrion (avec l'Expert, le Chef et l'Inspecteur), devient plus performant que les géants seuls.

Pourquoi ? Parce que l'équipe structure le travail. Le modèle petit n'a pas besoin de tout savoir par cœur ; il a besoin de suivre un processus rigoureux et d'être corrigé par l'Inspecteur.

💡 En Résumé

Ce papier nous dit que pour construire des logiciels critiques (comme les impôts, la santé ou la justice), il ne suffit pas d'avoir l'IA la plus puissante. Il faut :

1. Diviser les tâches (Expert, Codeur, Vérificateur).
2. Vérifier la logique plutôt que de chercher la réponse parfaite (Test métamorphique).
3. Utiliser une équipe plutôt qu'un seul individu.

C'est comme passer d'un artiste solitaire qui peint un tableau en se fiant à son instinct, à une équipe de restaurateurs d'art qui utilisent des outils scientifiques pour s'assurer que chaque coup de pinceau respecte l'histoire originale. Le résultat est un logiciel plus fiable, plus sûr et moins cher à produire.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche intitulé "An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software" (Une approche agente basée sur les LLM pour les logiciels à criticité légale : Étude de cas pour les logiciels de préparation fiscale), rédigé en français.

---

1. Problématique

Le développement de logiciels à criticité légale (domaines financiers, santé, conformité) exige une traduction précise des statuts juridiques complexes, rédigés en langage naturel, en code exécutable. Le cas d'étude choisi est la préparation des déclarations d'impôts fédéraux aux États-Unis, un domaine où les erreurs peuvent avoir des conséquences légales graves.

Les défis majeurs identifiés sont :

• L'ambiguïté du langage naturel : Les lois fiscales contiennent des nuances et des conditions complexes difficiles à interpréter pour les modèles de langage (LLM).
• Le problème de l'oracle : Dans de nombreux scénarios fiscaux, il est impossible de connaître la réponse exacte (l'oracle) pour un cas donné sans une expertise juridique approfondie, ce qui rend le test de validation classique difficile.
• Les hallucinations et l'ambiguïté des exigences : Les LLM tendent à générer du code incorrect ou à appliquer des règles de manière erronée (ex. : appliquer un taux d'imposition maximal à l'ensemble des revenus au lieu de la tranche concernée).
• Limites des tests métamorphiques classiques : Les approches précédentes utilisent des relations métamorphiques binaires (comparaison de deux cas similaires). Cependant, cela ne détecte pas les erreurs systémiques, comme une application incorrecte de la progressivité de l'impôt (ex. : un taux fixe appliqué à tous les revenus peut satisfaire une relation binaire "plus de revenu = plus d'impôt" tout en violant la structure par tranches).

2. Méthodologie : Le Framework Synedrion

Les auteurs proposent Synedrion, un système multi-agents basé sur les LLM conçu pour automatiser la génération, la validation et l'affinement de logiciels fiscaux à partir de documents juridiques.

Architecture des Agents

Le système orchestre cinq agents spécialisés :

1. TaxExpertAgent : Interprète le texte juridique brut et le convertit en spécifications structurées (JSON). Il définit les entrées, sorties, règles de calcul et cas limites, assurant la conformité du schéma de données.
2. CoderAgent & SeniorCoderAgent : Deux agents de codage qui génèrent le code Python. Le SeniorCoderAgent supervise un cycle de révision interne entre deux instances de CoderAgent, fournissant des retours pour corriger les erreurs avant la validation finale.
3. MetamorphicAgent (Agent de Test Métamorphique) : C'est l'innovation centrale. Au lieu de vérifier la justesse absolue (impossible sans oracle), il génère des relations métamorphiques d'ordre supérieur (Higher-Order Metamorphic Relations - HMT).

Innovation Clé : Test Métamorphique d'Ordre Supérieur (HMT)

Contrairement aux tests métamorphiques classiques qui comparent deux entrées (ex. : revenu A vs revenu B), le HMT évalue les taux de changement sur plusieurs cas liés simultanément.

• Exemple : Pour vérifier la progressivité de l'impôt, le système compare non seulement si l'impôt augmente avec le revenu, mais si le taux marginal d'augmentation correspond aux tranches légales.
• Catégories de tests HMT :
  • Augmentation proportionnelle : Vérifie que les variations d'entrée produisent des variations de sortie proportionnelles attendues.
  • Saut de seuil (Threshold Jump) : Vérifie les changements discrets de taux lorsque l'entrée franchit une limite de tranche fiscale.
  • Saturation : Vérifie que la sortie reste invariante au-delà d'un certain seuil (ex. : crédit plafonné).

L'agent génère automatiquement des tuples d'entrées pour tester ces relations. Si une violation est détectée, il fournit un contre-exemple concret au SeniorCoderAgent pour réparer le code, créant une boucle de rétroaction itérative.

3. Contributions Clés

1. Approche Agente pour le Logiciel Juridique : Démonstration qu'une collaboration structurée d'agents spécialisés (experts juridiques, codeurs, testeurs) surpasse les modèles monolithiques pour la traduction de lois en code.
2. Génération Automatique de Tests HMT : Introduction d'une méthode permettant aux LLM de déduire automatiquement des relations métamorphiques d'ordre supérieur à partir de documents juridiques, résolvant partiellement le problème de l'oracle.
3. Synedrion : Un framework complet intégrant l'interprétation juridique, la génération de code et la validation par contre-exemples guidés par des relations HMT.
4. Analyse Comparative des Modèles : Évaluation de l'efficacité de modèles de différentes tailles (GPT-4o-mini, GPT-4o, Claude-3.5, Llama 3.1) dans ce contexte.

4. Résultats Expérimentaux

Les expériences ont été menées sur six scénarios fiscaux de complexité croissante (depuis les tranches de base jusqu'aux distributions de retraite 1099-R), en utilisant des métriques comme le Partial Pass@k (pourcentage moyen de cas de test réussis).

• Performance des Modèles de Base (Baseline) : Les modèles seuls (Zero-shot ou Chain-of-Thought) échouent sur les scénarios complexes. Par exemple, GPT-4o atteint un taux de réussite de seulement 23% (Pass@1) sur le scénario le plus complexe (1099-R) sans agents.
• Supériorité du Framework Multi-Agents :
  • L'utilisation de l'architecture Synedrion permet à un modèle plus petit (GPT-4o-mini) d'égaler ou de surpasser les modèles de pointe (Frontier models) en mode base.
  • Avec GPT-4o-mini et le framework complet (incluant HMT), le taux de réussite Worst@10 (pire cas sur 10 générations) sur le scénario complexe atteint 69%, contre 9% pour le modèle seul.
  • Avec Claude-3.5, le framework atteint un taux de réussite de 93% (Pass@1) et 78% (Worst@10) sur le scénario le plus difficile.
• Impact du Test Métamorphique :
  • L'ajout du MetamorphicAgent améliore significativement la robustesse.
  • Le passage du test métamorphique classique (4-ary) au test d'ordre supérieur (HMT) augmente le taux de réussite Worst@10 de 14 points de pourcentage pour GPT-4o-mini sur le scénario complexe (passant de 55% à 69%).
• Coût Token : L'approche HMT augmente considérablement la consommation de tokens (jusqu'à 450 000 tokens pour le scénario le plus complexe), mais ce coût est justifié par la fiabilité accrue.

5. Signification et Conclusion

Cette recherche démontre que l'approche agente, couplée à des techniques de validation avancées comme le test métamorphique d'ordre supérieur, est une voie prometteuse pour développer des logiciels critiques légaux fiables.

• Démocratisation de l'expertise : Elle permet d'utiliser des modèles de langage plus petits et moins coûteux (comme GPT-4o-mini) pour des tâches complexes, à condition de les orchestrer correctement avec des agents spécialisés.
• Fiabilité sans Oracle parfait : La méthode contourne le besoin d'un oracle de vérité absolue en se basant sur la cohérence relative et les propriétés structurelles de la loi (stare decisis).
• Généralisation : Bien que l'étude se concentre sur la fiscalité américaine, le cadre méthodologique est applicable à d'autres domaines à criticité légale, tels que les systèmes de gestion de la pauvreté ou la conformité réglementaire, transformant des textes juridiques opaques en logiciels vérifiables et transparents.

En résumé, Synedrion prouve que la combinaison de l'expertise de domaine (via des agents spécialisés) et de la validation rigoureuse (via HMT) est essentielle pour surmonter les limites actuelles des LLM dans la génération de code critique.