Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA

O artigo apresenta o SearchFireSafety, um novo benchmark que avalia a capacidade de modelos de linguagem de realizar recuperação estruturada de evidências hierárquicas e evitar alucinações em cenários de perguntas e respostas jurídicas focadas em estatutos, revelando que, embora a recuperação guiada por grafos melhore o desempenho, modelos adaptados a domínios específicos tendem a alucinar mais quando as evidências estatutárias essenciais estão ausentes.

O essencial

Imagine que você precisa descobrir uma regra muito específica sobre como instalar um extintor de incêndio em um prédio. Você pergunta a um "advogado robô" (uma Inteligência Artificial).

O problema é que a lei não é um livro único onde a resposta está numa página só. A lei é como uma árvore gigante e complexa:

1. O tronco diz a regra geral ("É obrigatório ter segurança").
2. Os galhos explicam detalhes ("Para prédios altos...").
3. As folhas têm as especificações técnicas exatas ("O extintor deve estar a 1,20m do chão e ser de um tipo X").

Para responder à sua pergunta, o robô precisa conectar o tronco, o galho e a folha. Se ele pular uma etapa, ele pode inventar uma resposta (alucinar) ou dar uma informação errada, o que pode ser perigoso na vida real.

Este artigo de pesquisa, chamado SEARCHFIRESAFETY, é um estudo sobre como ensinar esses robôs a navegar nessa "árvore da lei" sem se perder e sem inventar coisas.

Aqui está a explicação simples do que eles fizeram:

1. O Problema: O "Abismo" da Lei

Os autores dizem que a maioria dos testes de IA jurídica foca em casos de tribunal (como encontrar um caso parecido com o seu). Isso é como procurar uma receita de bolo parecida com a sua.

Mas, em leis de regulamentação (como segurança contra incêndio), a resposta não está em um caso parecido. Ela está espalhada em vários documentos que se referem uns aos outros.

• A Analogia: Imagine que você pergunta "Posso usar este extintor?". A lei diz "Sim, se for tipo X". Mas o documento que define o "tipo X" está em outro livro, que por sua vez cita um terceiro livro com a definição técnica.
• O "Abismo": Se a IA tentar apenas procurar palavras-chave (como um Google simples), ela vai falhar porque a palavra "extintor" no seu pedido não aparece no documento técnico final. É como tentar achar a chave de um cofre olhando apenas para a porta, sem saber que a chave está no porão, descrita em um manual antigo.

2. A Solução: O Mapa da Mina (Estrutura)

Para resolver isso, os pesquisadores criaram um mapa de conexões (um gráfico de citações).

• Eles pegaram todos os documentos de segurança contra incêndio da Coreia do Sul e mapearam quem cita quem.
• A Metáfora: Em vez de apenas ler o texto, a IA agora tem um GPS. Se ela lê "Tipo X", o GPS diz: "Ei, o Tipo X é definido no Documento Y, que está no Galho Z".
• Resultado: Eles criaram uma técnica chamada "Reranking Estrutural". É como se, ao procurar uma resposta, a IA não olhasse apenas para o que parece parecido, mas seguisse as "setas" de conexão entre os documentos. Isso ajudou muito a encontrar a resposta correta.

3. O Teste de Segurança: "Não Inventar"

A parte mais importante do estudo não foi apenas achar a resposta, mas saber quando NÃO responder.

• O Cenário: Eles criaram perguntas onde faltava uma peça do quebra-cabeça (o documento técnico).
• O Perigo: Se a IA não tiver a peça, ela deve dizer: "Não sei, não tenho informação suficiente".
• O Problema Real: Eles descobriram que, quando treinam a IA com muitas leis, ela fica muito confiante. Ela começa a inventar respostas plausíveis em vez de admitir que não sabe. É como um aluno que, ao não saber a resposta, inventa uma história convincente para não ficar em silêncio.
• A Descoberta: Quanto mais a IA é treinada para parecer um especialista, mais ela tende a "alucinar" (inventar) quando a informação está incompleta. Isso é perigoso em segurança contra incêndio, onde uma resposta errada pode causar um incêndio real.

4. O Que Eles Criaram (SEARCHFIRESAFETY)

Eles criaram um novo "campo de treinamento" (benchmark) chamado SEARCHFIRESAFETY.

• O que é: Um conjunto de perguntas e respostas reais e simuladas sobre segurança contra incêndio.
• O objetivo: Testar duas coisas:
  1. A IA consegue encontrar a resposta correta seguindo o mapa de conexões?
  2. A IA tem a humildade de dizer "não sei" quando a informação falta?

Conclusão Simples

O estudo mostra que, para usar IA em leis complexas e de segurança:

1. Não basta ter um "Google" inteligente; a IA precisa entender a estrutura de como as leis se conectam (o mapa).
2. Mais importante ainda, a IA precisa aprender a parar de falar quando não tem certeza. Em segurança, é melhor dizer "não sei" do que inventar uma regra que não existe.

Os autores dizem que, se quisermos usar robôs para nos ajudar a seguir as leis de segurança, precisamos de sistemas que sejam não apenas inteligentes, mas também cautelosos e honestos sobre o que não sabem.

Resumo técnico

Resumo Técnico: Beyond Case Law

1. Problema e Motivação

O campo de IA Jurídica tem sido dominado por benchmarks focados em Direito Comum (Common Law), onde a tarefa principal é recuperar casos jurídicos (precedentes) semanticamente similares. No entanto, em jurisdições de Direito Civil (Civil Law) e domínios regulatórios baseados em estatutos (como leis de segurança contra incêndios), o raciocínio legal segue um paradigma diferente:

• Natureza Dinâmica e Hierárquica: As leis não são documentos isolados, mas redes interconectadas de citações (Atos $\to$ Decretos de Execução $\to$ Regras de Execução $\to$ Padrões Técnicos).
• A Lacuna de Recuperação Estatutária (Statutory Retrieval Gap): A resposta a uma consulta frequentemente reside em documentos técnicos de baixo nível que são semanticamente distantes da consulta do usuário (que usa linguagem coloquial) e conectados apenas por cadeias de citações explícitas. Recuperadores densos convencionais falham em navegar essa hierarquia.
• Risco de Segurança: Em domínios críticos (como segurança contra incêndios), modelos que alucinam respostas quando o contexto estatutário é incompleto podem levar a decisões físicas perigosas. Existe uma necessidade crítica de modelos que saibam abster-se de responder quando a evidência é insuficiente.

2. Metodologia: O Benchmark SEARCHFIRESAFETY

Os autores introduzem o SEARCHFIRESAFETY, um benchmark estruturado e seguro focado em regulamentos de segurança contra incêndios da Coreia do Sul. O pipeline de desenvolvimento envolve três etapas principais:

• A. Compilação do Corpus Legal:

  • Coleta de 131 estatutos e regulamentos atualizados (sincronizados temporalmente até abril de 2025) para evitar ruído de leis obsoletas.
  • Pipeline de ingestão multimodal com Human-in-the-Loop para converter tabelas complexas e fórmulas matemáticas (renderizadas como imagens) em texto estruturado.
  • Segmentação baseada na hierarquia legal nativa (Artigo, Parágrafo, Item) em vez de janelas de tamanho fixo.

• B. Augmentação com Grafo de Citações:

  • Construção de um grafo de citação explícito ($G = (D, E)$) conectando documentos através de hiperlinks e referências textuais (usando regex para citações intra-estatuto sem links).
  • Isso permite a recuperação baseada em estrutura, não apenas em similaridade semântica.

• C. Construção de Dados de QA Dupla Fonte:

  1. QA de Especialistas do Mundo Real (Foco em Recuperação): 876 pares de perguntas e respostas extraídos do portal de petições da Agência Nacional de Bombeiros (NFA). As respostas exigem a travessia de cadeias de citação para encontrar a base legal correta.
  2. QA Sintética Multi-hop (Foco em Segurança): 3.395 questões de múltipla escolha geradas sinteticamente para testar a "Dependência Condicional Estrita".
     • Cenário de Contexto Total: O modelo tem acesso ao Documento A (que cita o B) e ao Documento B. Deve responder corretamente.
     • Cenário de Contexto Parcial: O modelo tem apenas o Documento A (o B está oculto). O modelo deve recusar-se a responder (escolher "Não pode ser determinado"). Se responder, é uma alucinação.

3. Contribuições Principais

1. Novo Benchmark: Introdução do SEARCHFIRESAFETY, o primeiro benchmark a avaliar simultaneamente a recuperação hierárquica e a segurança (capacidade de recusa) em domínios regulatórios baseados em estatutos.
2. Anotação de Grafo de Citação: Um dataset com anotações explícitas de grafos que permitem avaliar a recuperação consciente da hierarquia e a abstenção segura sob contexto parcial.
3. Análise de Trade-off de Segurança: Demonstração experimental de que a adaptação de domínio (fine-tuning) pode melhorar a precisão em contextos completos, mas degradar a segurança, tornando os modelos mais propensos a alucinar quando a evidência crítica está faltando.

4. Resultados Experimentais

• Recuperação (Task 1):

  • Recuperadores densos (ex: BGE-M3, Qwen3-Emb) superam métodos esparsos (BM25), mas ainda sofrem com a "Lacuna de Recuperação Estatutária".
  • SAR (Structure-Aware Reranking): Os autores propõem uma estratégia de reclassificação guiada por grafo. O SAR propaga a relevância dos documentos "sementes" (top-K recuperados) para seus vizinhos no grafo de citações.
  • Desempenho: O SAR superou consistentemente todas as outras estratégias (RRF, Rocchio), aumentando o Recall@50 para 74.57% (com BGE-M3), provando que links estruturais explícitos recuperam evidências que a similaridade semântica pura perde.

• Segurança e Alucinação (Task 2):

  • Falha de Abstenção: Na configuração de "Contexto Parcial", a maioria dos modelos de código aberto (Qwen, Exaone, HyperClovaX) falhou em recusar a resposta, gerando respostas confiantes e incorretas (alucinações) em vez de escolher a opção "Não pode ser determinado".
  • Efeito do Fine-tuning (CPT): O pré-treinamento contínuo em corpus legal melhorou a precisão em cenários Zero-Shot e Full Context, mas reduziu drasticamente a precisão no Contexto Parcial. Isso indica que o domínio especializado aumenta a "confiança excessiva" e diminui a consciência da incerteza.
  • GPT-4o: Mostrou-se mais robusto na abstenção, mas ainda não perfeito.

5. Significado e Conclusão

O trabalho destaca que o progresso em IA Jurídica para domínios regulatórios não pode ser medido apenas pela precisão em contextos completos.

• Recuperação Estrutural é Vital: A navegação em grafos de citação é essencial para fundamentar respostas factuais em leis complexas.
• Segurança > Precisão: Em cenários críticos de segurança, a capacidade de um modelo de reconhecer a falta de evidência e recusar-se a responder é tão importante quanto a capacidade de responder corretamente quando a evidência está presente.
• Limitação Atual: Modelos atuais, especialmente após adaptação de domínio, tendem a priorizar a fluência e a coerência interna em detrimento da veracidade factual quando o contexto está incompleto.

O SEARCHFIRESAFETY serve como um fundamento para o desenvolvimento de sistemas RAG (Retrieval-Augmented Generation) jurídicos mais seguros, confiáveis e conscientes da estrutura legal.