NeuroSymbolic AI for Legal AI-TRISM: Trustworthy, Reliable, Interpretable, Safe Models

Resumo Técnico: IA Neurosimbólica para Legal AI-TRISM

Declaração do Problema
O artigo identifica uma lacuna crítica na aplicação de Grandes Modelos de Linguagem (LLMs) ao domínio jurídico. Embora os LLMs tenham transformado o processamento de linguagem natural, eles sofrem de "alucinações" (fabricação de citações ou fatos), falta de raciocínio interpretável e incapacidade de aderir estritamente a hierarquias jurisdicionais e nuances procedimentais. Os autores citam um caso de 2024 de sanção a advogados por petições geradas por IA com citações fabricadas como um exemplo contundente desses riscos. As abordagens atuais de Geração Aumentada de Recuperação (RAG), embora tentem fundamentar os LLMs em fontes autoritativas, ainda exibem taxas significativas de alucinação (variando de 17% a 69% em vários estudos) e frequentemente falham em capturar exceções contextuais complexas ou priorizar precedentes jurídicos conflitantes corretamente. Abordagens puramente neurais lutam com a consistência lógica, validação baseada em regras e rastreabilidade exigidas para a tomada de decisões jurídicas de alto risco.

Metodologia: O Framework TRISM e RASOR
Para enfrentar essas limitações, os autores propõem o TRISM (Modelos Confiáveis, Confiáveis, Interpretáveis e Seguros), um framework que integra princípios de IA Neurosimbólica com LLMs. Esta abordagem combina as capacidades de reconhecimento de padrões de redes neurais com o raciocínio lógico de sistemas simbólicos sobre conhecimento jurídico estruturado.

A principal instância de TRISM apresentada no artigo é o RASOR (Racionalizar, Selecionar e Refinar), um pipeline de RAG neurosimbólico projetado para a geração de textos jurídicos. A arquitetura RASOR opera através de um processo de cinco etapas:

1. Geração de Racional (Rationale Generation): Um modelo ajustado (SaulLM) gera racionais explícitos e interpretáveis a partir de conjuntos de dados jurídicos contendo consultas de especialistas e documentos.
2. Seleção de Fragmentos (Chunk Selection): Um Seletor de Fragmentos Baseado em Racional Neural (NRCS) associa esses racionais gerados a fragmentos de documentos relevantes usando um Dense Passage Retriever (DPR), eliminando a necessidade de ajustes complexos de hiperparâmetros.
3. Refinamento: Um módulo de Refinamento utiliza Otimização de Preferência Direta (DPO) para otimizar os racionais, selecionando aqueles mais alinhados com os fragmentos de documentos relevantes com base em exemplos pareados do Contract Understanding Atticus Dataset (CUAD). Isso evita a sobrecarga computacional do Aprendizado por Reforço com Feedback Humano (RLHF).
4. Verificação: Um Verificador não supervisionado filtra fragmentos irrelevantes ou contraditórios para mitigar os riscos de alucinação.
5. Inferência: O sistema gera o output final utilizando racionais verificados, garantindo o alinhamento com o conhecimento do domínio.

O artigo também detalha uma metodologia formal para a construção de Grafos de Conhecimento Jurídico (KGs) para servirem como a espinha dorsal simbólica. Isso envolve:

• Integração de Ontologia: Definição de conceitos (ex: "Estatuto", "Decisão Judicial"), relações (ex: "cita", "interpreta") e hierarquias.
• Extração de Entidades e Relações: Uso de Reconhecimento de Entidades Nomeadas (NER) e rotulagem de papéis semânticos para extrair triplas $(s, p, o)$ de textos jurídicos.
• Atualização Dinâmica: Um processo automatizado de 10 etapas que utiliza LLMs para detectar "Lacunas de Conhecimento" no espaço de embedding do KG. Isso envolve a geração de hipóteses via estratégias de role-playing (atuando como defensor e promotor), identificação de novas triplas candidatas e refinamento do KG para garantir que ele permaneça atualizado com novos estatutos e precedentes.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

1. Análise de Limitações: Um exame crítico dos métodos atuais impulsionados por IA no direito, destacando falhas em raciocínio causal, raciocínio analógico e tratamento de nuances jurisdicionais.
2. RASOR e Validação Empírica: A introdução do RASOR, que demonstra que o raciocínio estruturado e transparente melhora o desempenho. Os autores afirmam que esta abordagem reduz as taxas de alucinação de aproximadamente 75% (no baseline SaulLM-52B) para menos de 40%.
3. Metodologia Formalizada de KG: Uma abordagem estruturada para a criação de bases de conhecimento jurídico simbólico que suportam tanto o raciocínio interpretável quanto a verificação de output.
4. O Framework TRISM: Um framework abrangente para integrar conhecimento jurídico simbólico com LLMs para atender aos critérios regulatórios (precisão, explicabilidade, justiça, segurança).

Resultados
Os autores avaliaram o RASOR no dataset CUAD, que contém mais de 13.000 anotações de especialistas em 510 contratos.

• Desempenho de Recuperação: O RASOR alcançou um recall robusto de aproximadamente 93% tanto para tamanhos de fragmento de 128 tokens quanto de 512 tokens, superando os re-rankers de baseline.
• Precisão de Geração: Utilizando LLAMA3-8B para geração, o RASOR superou o re-ranker de estado da arte Contriever em até 17% em precisão (medida por correspondência exata de string). Especificamente, em fragmentos de 128 tokens, o RASOR alcançou 52% de precisão comparado aos 38% do Contriever; em fragmentos de 512 tokens, atingiu 64% contra 47% do Contriever.
• Redução de Alucinação: O RASOR reduziu as taxas de alucinação para abaixo de 40%, uma melhoria significativa em relação ao Contriever (58–65%) e ao SaulLM-52B (75%).
• Adaptação Dinâmica: O sistema demonstrou a capacidade de ajustar dinamicamente o número de fragmentos recuperados ($K$-value) com base na complexidade da consulta, otimizando a recuperação enquanto minimiza o ruído.

Significância e Alegações
O artigo posiciona o RASOR como um "primeiro passo crucial" em direção a uma IA jurídica totalmente neurosimbólica. Os autores afirmam que a mudança de abordagens puramente neurais para sistemas neurosimbólicos move a IA jurídica de ser "amplamente não confiável" para ser "viável para o trabalho jurídico real". A significância reside na capacidade do sistema de:

• Operacionalizar a Confiança: Ao impor atribuição de fonte explícita e racionais estruturados, o sistema atende aos pilares de "Confiabilidade" e "Interpretabilidade" do TRISM.
• Preencher a Lacuna: A arquitetura modular serve como uma ponte conceitual, permitindo que os componentes neurais atuais sejam sistematicamente substituídos ou aprimorados com contrapartes simbólicas (ex: substituir a seleção de fragmentos neural pela recuperação baseada em Grafo de Conhecimento).
• Permitir a Adoção: Os autores observam que profissionais do direito abraçaram esses sistemas transparentes uma vez que observaram melhores resultados, sugerindo que a explicabilidade é uma barreira chave à adoção que esta abordagem supera.

O artigo conclui que, embora a implementação atual do RASOR siga um caminho predominantemente neural, seu design permite uma evolução progressiva em direção a sistemas de raciocínio neurosimbólicos completos, onde a verificação lógica e a aplicação de regras simbólicas substituem as aproximações neurais, garantindo a conformidade com as hierarquias jurídicas e restrições procedimentais.