Resumo Técnico: Falkor-IRAC

Declaração do Problema

Os sistemas atuais de IA jurídica, que dependem predominantemente de Geração Aumentada por Recuperação (RAG) com similaridade semântica baseada em vetores, falham em abordar a natureza estrutural do raciocínio jurídico. O artigo argumenta que o raciocínio jurídico não é um problema de busca semântica, mas um processo de raciocínio simbólico restrito envolvendo propagação de precedentes, transições de estado processual e inferência vinculada a estatutos.

As abordagens RAG padrão sofrem de três falhas estruturais críticas no domínio jurídico:

1. Relevância Semântica vs. Relevância Jurídica: A similaridade lexical não garante relevância jurídica; um precedente histórico pode usar vocabulário diferente do caso atual, mas permanecer estruturalmente vital.
2. Alucinação como Responsabilidade: Em contextos jurídicos, uma citação que soa plausível, mas é fabricada, não é meramente um erro de qualidade, mas uma responsabilidade profissional que pode prejudicar litigantes.
3. Falta de Estado: O raciocínio jurídico é estatal (dependente de cronogramas processuais, vinculação de direitos e prazos), uma dimensão que os modelos vetoriais não conseguem representar.

Essas falhas são particularmente agudas na Índia, onde um enorme acúmulo de casos e assistência jurídica limitada criam uma lacuna severa no acesso à justiça. As ferramentas existentes falham em fornecer explicações focadas na voz e livres de alucinações sobre avisos judiciais ou estados processuais.

Metodologia: Falkor-IRAC

O Falkor-IRAC é um framework de geração restrito por grafos que desacopla a geração da verificação. Em vez de usar um grafo de conhecimento apenas para melhorar a recuperação (como no GraphRAG), o Falkor-IRAC usa o grafo como uma restrição rígida sobre o que o modelo tem permissão para afirmar.

1. Esquema do Grafo de Conhecimento

O sistema ingere julgamentos do Supremo Tribunal e dos Tribunais Superiores da Índia no FalkorDB, um banco de dados de grafos que suporta consultas híbridas vetoriais e de grafos. O esquema estende as redes de citação padrão com três camadas inovadoras:

• Estrutura IRAC: Nós para Questão, Regra, Análise e Conclusão, vinculados a Casos, Estatutos e Juízes.
• Transições de Estado Processual: Uma camada de nós EventoProcessual (por exemplo, LIBERDADE_NEGADA, AUDIENCIA_REALIZADA) conectados por relações DISPARA e ANTECEDE. Isso modela o fluxo do litígio como uma máquina de estados, permitindo que o sistema responda a perguntas sobre a posição processual atual de um litigante.
• Relações Tipificadas por Conflito: Novos tipos de aresta (CONFLITA_COM, RESOLVIDO_POR, ESTREITADO_POR) que modelam explicitamente divisões doutrinárias (por exemplo, discordâncias entre turmas coordenadas) em vez de resolvê-las silenciosamente.

2. Pipeline de Ingestão

Os julgamentos são processados em três etapas:

1. Extração de Texto: O PyMuPDF é usado para limpeza consciente de layout.
2. Extração Estruturada: Um LLM extrai componentes IRAC, estatutos, precedentes e eventos processuais em JSON restrito, instruído a deixar campos vazios em vez de fabricar dados se a confiança for baixa.
3. Carregamento no Grafo: Os dados estruturados são carregados no FalkorDB usando operações MERGE idempotentes.

3. Arquitetura de Inferência

O pipeline de geração opera como um loop multiagente:

1. Agente de Recuperação: Percorre o grafo usando cinco estratégias paralelas (tipo de matéria, estatuto, palavra-chave da questão, cadeia de citação e detecção de conflito) para recuperar precedentes candidatos.
2. Síntese LLM: Gera uma resposta fundamentada apenas nos candidatos recuperados.
3. Agente Verificador (Oráculo de Falsificabilidade): Esta é a inovação central. Ele verifica a resposta gerada contra o grafo:
   • Verifica a existência dos casos citados.
   • Verifica superações (SUPERADO_POR) ou relações de conflito.
   • Valida o status de revogação de estatutos.
   • Saída: Retorna VÁLIDO, INVÁLIDO, CONFLITO ou OBSOLETO.
   • Restrição: Se o caminho for INVÁLIDO ou OBSOLETO, o LLM é solicitado a revisar (até duas tentativas). Se falhar novamente, o sistema abstém-se em vez de retornar uma resposta não verificada.

Contribuições Principais

1. Esquema de Grafo de Conhecimento IRAC: O primeiro esquema para raciocínio jurídico indiano para modelar o fluxo do litígio (transições de estado processual) juntamente com o raciocínio doutrinário e relações de precedentes tipificadas por conflito.
2. Geração Restrita por Grafos: Uma arquitetura onde as saídas do LLM são aceitas apenas se existir um caminho de suporte válido no grafo. Isso muda o paradigma de "melhor recuperação" para "examinador externo com poder de veto".
3. Detecção de Conflito como Saída de Primeira Classe: O sistema expõe explicitamente conflitos doutrinários (por exemplo, discordâncias não resolvidas entre turmas coordenadas) em vez de resolvê-los silenciosamente, fornecendo incerteza honesta ao usuário.
4. Suite de Avaliação Nativa de Grafos: Uma proposta para substituir métricas lexicais (BLEU/ROUGE) por métricas estruturais: Precisão de Fundamentação de Citações, Taxa de Validade de Caminhos, Taxa de Precedentes Alucinados e Taxa de Detecção de Conflitos.

Resultados

O sistema foi avaliado em um corpo de prova de conceito de 51 julgamentos do Supremo Tribunal (abrangendo 1949–2026) usando 10 consultas sobre liberdade provisória, direito constitucional, direito de serviço e crime de desacato.

• Precisão do Verificador: O Agente Verificador validou corretamente todas as 8 citações reais do Supremo Tribunal submetidas (100% de precisão de fundamentação) e rejeitou corretamente 2 citações fabricadas (0% de taxa de alucinação em entrada fabricada).
• Desempenho de Geração: Usando o Mistral 7B-Instruct em hardware de CPU de consumo, 3 de 10 consultas foram concluídas dentro do tempo limite de 300 segundos. A única consulta concluída com citações estruturadas alcançou 100% de precisão de fundamentação de citações.
• Limitações: 7 consultas expiraram devido à latência de inferência da CPU. Consultas sobre liberdade provisória sofreram especificamente com cobertura esparsa do grafo no pequeno corpo de dados.
• Linha de Base: Nenhuma comparação contra RAG Vetorial ou GraphRAG foi realizada neste estudo; o foco foi na validação arquitetural.

Significado e Alegações

O artigo posiciona o Falkor-IRAC não como um sistema pronto para produção, mas como um protótipo de pesquisa demonstrando que o raciocínio jurídico está estruturalmente mais próximo da travessia restrita de grafos do que da busca por similaridade difusa.

• Honestidade sobre Confiança: O sistema prioriza a "incerteza honesta" (abstenção ou sinalização de conflito) em vez de alucinação confiante, o que é argumentado ser mais útil para praticantes de assistência jurídica e litigantes pro se.
• Raciocínio Estatal: Ao modelar transições de estado processual, o sistema aborda uma lacuna na IA jurídica existente que trata julgamentos como documentos estáticos em vez de registros de travessia de um processo legal.
• Generalização: Os autores argumentam que esta arquitetura (restrições de grafos simbólicos sobre geração probabilística) é aplicável a qualquer domínio que exija raciocínio rastreável e auditável, como conformidade, análise de patentes e diretrizes clínicas.

O artigo conclui que tornar explícito o grafo implícito do raciocínio jurídico e usá-lo para restringir a geração é a direção necessária para uma IA jurídica confiável, particularmente em jurisdições de alto risco e alto volume de casos, como a Índia.