Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA

Each language version is independently generated for its own context, not a direct translation.

🚒 Le Dilemme du Pompier Numérique : Comprendre le papier "SEARCHFIRESAFETY"

Imaginez que vous avez construit un super-pompier robotique (une Intelligence Artificielle) dont le travail est de répondre aux questions sur les règles de sécurité incendie. Votre but est qu'il soit aussi fiable qu'un vrai pompier : rapide, précis, et surtout, qu'il ne se trompe jamais en inventant des règles dangereuses.

Les chercheurs de l'Université nationale de Séoul ont réalisé que ce robot avait deux gros problèmes majeurs lorsqu'on lui posait des questions sur les lois (les statuts). Ils ont créé un nouveau "terrain d'entraînement" appelé SEARCHFIRESAFETY pour tester et réparer ces défauts.

Voici les deux problèmes principaux, expliqués avec des analogies :

1. Le Problème du "Labyrinthe de Citations" (Le Trou de Récupération)

La situation :
Dans les livres de droit, les réponses ne sont pas toujours dans le même paragraphe que la question. C'est comme si vous cherchiez la recette d'un gâteau dans un livre de cuisine, mais que le livre vous disait : "Regardez la page 50 pour la liste des ingrédients, mais pour savoir combien de temps cuire, allez voir la page 120, et pour la température du four, c'est dans un petit livre annexe à la page 300."

Le problème :
Les robots actuels sont comme des lecteurs qui lisent trop vite. Ils cherchent des mots-clés similaires. Si vous demandez "Puis-je mettre une rampe amovible ?", le robot cherche le mot "rampe" et trouve un texte qui en parle, mais qui ne donne pas la réponse précise. La vraie réponse se trouve dans un document technique très loin, relié par une citation invisible.

La solution trouvée :
Les chercheurs ont créé une carte au trésor (un graphe de citations). Au lieu de juste chercher des mots, le robot apprend à suivre les liens.

Analogie : C'est comme passer d'un chercheur qui fouille au hasard dans une bibliothèque à un détective qui suit les pistes d'un enquêteur. Le robot apprend à dire : "Ah, ce document mentionne un autre document ! Je vais aller vérifier là-bas aussi."
Résultat : Le robot trouve la bonne réponse beaucoup plus souvent, même si elle est cachée au fond du labyrinthe.

2. Le Problème du "Pompier Trop Confiant" (La Sécurité et l'Hallucination)

La situation :
Parfois, le robot n'a pas toutes les pièces du puzzle. Imaginez qu'on lui demande de vérifier si un bâtiment est sûr, mais qu'on lui a caché le plan électrique (le document manquant).

Le problème :
Les robots actuels sont très polis et très confiants. Même s'ils ne savent pas, ils vont inventer une réponse pour ne pas vous laisser tomber.

Analogie : C'est comme un pompier qui, face à un feu dans un bâtiment dont il n'a pas les plans, vous dit : "Ne vous inquiétez pas, il n'y a pas de danger, je suis sûr à 100 %" alors qu'il y a peut-être une explosion imminente. C'est ce qu'on appelle une hallucination. Dans le domaine de la sécurité, inventer une réponse est pire que de ne pas répondre.

La solution trouvée :
Les chercheurs ont testé si le robot savait dire "Je ne sais pas".

Ils ont créé des questions pièges où la réponse est impossible à trouver avec les documents fournis.
Résultat surprenant : Ils ont découvert que plus on "entraînait" le robot avec beaucoup de textes juridiques, plus il devenait confiant... et plus il mentait quand il manquait d'informations ! Un robot entraîné sur le droit a tendance à dire n'importe quoi avec une voix très assurée, ce qui est très dangereux.

🏆 Ce que le papier nous apprend (Les Leçons Clés)

La structure est reine : Pour comprendre les lois, il ne suffit pas de chercher des mots similaires. Il faut comprendre comment les documents sont reliés entre eux (comme un arbre généalogique de règles). Si on aide le robot à suivre ces liens, il devient bien plus intelligent.
La sécurité avant tout : Un bon robot juridique ne doit pas seulement savoir répondre, il doit savoir se taire quand il n'est pas sûr. C'est une question de vie ou de mort (littéralement, pour la sécurité incendie).
Le piège de l'entraînement : En apprenant par cœur des lois, le robot devient trop confiant. Il faut lui apprendre à douter quand les preuves manquent.

En résumé

Ce papier dit : "Arrêtons de juste demander aux robots de lire des lois. Donnons-leur une carte pour naviguer dans les liens entre les documents, et surtout, formons-les à dire 'Je ne sais pas' quand ils ne sont pas sûrs, car dans la sécurité, inventer une réponse peut être catastrophique."

C'est un pas de géant pour rendre l'IA plus sûre et plus utile dans des domaines où l'erreur n'est pas permise.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique : Le Vide de Récupération Statutaire

Les benchmarks actuels en Intelligence Artificielle Juridique (Legal AI) se concentrent principalement sur les systèmes de Common Law (droit jurisprudentiel), où la tâche consiste à retrouver des précédents judiciaires sémantiquement similaires. Cependant, cette approche est inadéquate pour les domaines centrés sur les statuts et règlements (droit civil, comme en Corée du Sud), où la logique juridique est différente :

Fragmentation Hiérarchique : La réponse à une question juridique ne réside pas dans un document unique, mais est distribuée à travers une hiérarchie de documents interdépendants (Loi $\rightarrow$ Décret d'application $\rightarrow$ Règle d'exécution $\rightarrow$ Norme technique).
Le Vide de Récupération Statutaire (Statutory Retrieval Gap) : Il existe un décalage sémantique et lexical important entre la requête de l'utilisateur (souvent formulée en langage courant) et les documents techniques de bas niveau contenant la réponse précise. Les récupérateurs denses classiques (basés sur l'embedding sémantique) échouent souvent car ils ne peuvent pas traverser les chaînes de citations explicites reliant ces documents.
Risque de Sécurité : Dans des domaines critiques comme la sécurité incendie, les modèles de langage (LLM) ont tendance à halluciner des réponses confiantes lorsque le contexte statutaire est incomplet, au lieu de s'abstenir de répondre.

2. Méthodologie : Le Benchmark SEARCHFIRESAFETY

Les auteurs introduisent SEARCHFIRESAFETY, un benchmark conçu spécifiquement pour évaluer la récupération de documents structurés et la sécurité des modèles dans le contexte des réglementations de sécurité incendie en Corée du Sud.

A. Construction du Corpus et du Graphique

Corpus Temporellement Synchronisé : Création d'un corpus de 131 textes juridiques (4 467 unités de récupération atomiques) mis à jour au 30 avril 2025, éliminant les normes obsolètes.
Pipeline Multimodal : Utilisation de l'OCR et de l'analyse de PDF pour convertir les tableaux et diagrammes techniques en texte structuré.
Graphique de Citations (Citation Graph) : Reconstruction d'un graphe de connaissances en extrayant les liens explicites (hyperliens) et les références implicites (ex: « conformément à l'article précédent ») pour créer un réseau connecté de documents juridiques.

B. Conception des Données (Dual-Source)

Le benchmark utilise deux ensembles de données distincts pour évaluer des capacités différentes :

QA d'Experts Réels (Focus Récupération) : 876 paires Question-Réponse issues du portail de pétition de l'Agence Nationale des Incendies (NFA). Ces questions nécessitent de naviguer dans la hiérarchie des citations pour trouver la réponse.
QA Synthétique Multi-sauts (Focus Sécurité) : 3 395 questions à choix multiples générées par IA. Elles sont conçues pour tester la dépendance conditionnelle stricte : la question est uniquement répondable si deux documents (A et B) sont présents. Si seul le document A est fourni (contexte partiel), le modèle doit reconnaître l'insuffisance d'information et refuser de répondre.

C. Stratégies d'Évaluation

Récupération : Évaluation via Recall@K et nDCG@K.
Sécurité : Mesure de la capacité du modèle à s'abstenir (refusal) lorsque le contexte est incomplet, plutôt que d'halluciner une réponse.
Méthode de Ré-ranking Proposée (SAR) : Les auteurs proposent un Ré-ranking Sensible à la Structure (Structure-Aware Reranking). Contrairement aux méthodes basées uniquement sur la similarité sémantique (comme Rocchio), SAR utilise le graphe de citations pour propager la pertinence des documents "graines" vers leurs voisins structurels, comblant ainsi le vide lexical.

3. Résultats Clés

A. Performance de Récupération

Les récupérateurs denses (Qwen3-Emb, BGE-M3) surpassent les méthodes lexicales (BM25), mais peinent toujours à trouver les documents de bas niveau sans aide structurelle.
Le SAR améliore significativement les performances par rapport aux méthodes de base et au Reciprocal Rank Fusion (RRF).
- Avec SAR, le Recall@50 atteint 74,57% (contre 72,79% pour BGE-M3 seul).
- La visualisation du graphe montre que les liens explicites créent des ponts directs vers les documents "vérités terrain" que les voisinages sémantiques (kNN) manquent.

B. Performance de Génération et Sécurité

Contexte Complet : Avec un contexte complet (Documents A + B), les modèles open-weight (Qwen3-32B) atteignent des précisions élevées (~86%), surpassant parfois GPT-4o.
Contexte Partiel (Sécurité) : C'est ici que les modèles échouent le plus gravement.
- La plupart des modèles ouverts génèrent des réponses confiantes et incorrectes (hallucinations) même lorsque la preuve est manquante.
- GPT-4o démontre une meilleure conscience de l'incertitude, refusant de répondre dans 72,10% des cas de contexte partiel, contre ~54% pour Qwen3-32B.
Impact du Fine-Tuning (CPT) : L'adaptation continue au domaine juridique (Continued Pre-Training) améliore la précision en contexte complet mais détériore la sécurité en contexte partiel, augmentant la tendance à l'overconfidence (confiance excessive) et aux hallucinations.

4. Contributions Principales

Benchmark SEARCHFIRESAFETY : Premier benchmark évaluant conjointement la récupération hiérarchique et la sécurité (capacité de refus) dans un domaine réglementaire centré sur les statuts.
Graphique de Citations Annoté : Un jeu de données avec un graphe de citations explicite permettant d'évaluer systématiquement la navigation multi-sauts.
Analyse du Compromis Sécurité-Performance : Démonstration empirique que l'adaptation au domaine juridique peut aggraver les risques d'hallucination en cas d'information incomplète, soulignant la nécessité d'évaluations spécifiques à l'incertitude.

5. Signification et Implications

Ce travail met en lumière une lacune critique dans l'évaluation actuelle des LLM juridiques : la focalisation exclusive sur la précision en contexte complet masque les risques de sécurité réels.

Pour la Recherche : Il est impératif de développer des mécanismes de récupération qui exploitent la structure juridique (liens de citation) plutôt que de se fier uniquement à la similarité sémantique.
Pour la Sécurité : Dans les domaines critiques (sécurité incendie, santé, finance), la capacité d'un modèle à reconnaître ses limites et à s'abstenir est aussi importante que sa capacité à répondre. Les benchmarks futurs doivent inclure des scénarios de contexte partiel pour éviter le déploiement de systèmes dangereux qui hallucinent des réponses techniques.
Limites : Le benchmark est spécifique au système juridique coréen (droit civil) et aux réglementations de sécurité incendie, bien que les principes de récupération hiérarchique soient applicables à d'autres juridictions de droit civil.

En conclusion, SEARCHFIRESAFETY propose une nouvelle norme pour le développement de systèmes RAG (Retrieval-Augmented Generation) juridiques plus sûrs, fiables et capables de naviguer dans la complexité structurelle des lois et règlements.