Neuro-Symbolic Verification of LLM Outputs for Data-Sensitive Domains (extended preprint)

Resumo Técnico: Verificação Neuro-Simbólica de Saídas de LLMs para Domínios Sensíveis a Dados

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) enfrentam desafios fundamentais de confiabilidade quando implantados em domínios de alto risco e sensíveis a dados, como diagnóstico médico, revisão jurídica e assuntos regulatórios. Esses desafios incluem alucinações (geração de informações plausíveis, mas falsas), inconsistências e vulnerabilidades de privacidade. Nesses contextos, erros acarretam consequências legais, financeiras ou de segurança, tornando as taxas de alucinação de 3–10% observadas em modelos de última geração inaceitáveis. Além disso, restrições regulatórias e institucionais rigorosas frequentemente exigem processamento local de dados para garantir a soberania de dados, limitando a utilidade de APIs baseadas em nuvem e de LLMs de propósito geral. Abordagens existentes, como geração aumentada por recuperação (RAG) ou prompts de cadeia de pensamento, carecem das garantias necessárias para configurações especializadas, enquanto métodos de auto-verificação herdam os vieses distribucionais dos modelos que tentam verificar.

Metodologia
O artigo propõe uma arquitetura de verificação híbrida que combina métodos simbólicos formais com análise semântica neural para fornecer garantias complementares. O sistema é projetado em torno de quatro princípios centrais: processamento local prioritário, separação modular de componentes simbólicos e neurais, isolamento de falhas baseado em atores e verificação de reivindicações consciente de tipos.

1. Verificação Simbólica de Entrada (Pré-processamento):
   A arquitetura emprega lógica baseada em tabelas para validar restrições de entrada antes que qualquer inferência de LLM ocorra. Este método decompõe os requisitos de validação em uma hierarquia configurável de condições declarativas. Condições centrais avaliam predicados atômicos (por exemplo, presença de metadados), enquanto metacodições de ordem superior expressam relações da teoria dos conjuntos (por exemplo, obrigações cumulativas ou caminhos alternativos de suficiência). Esta abordagem fornece garantias decidíveis, sólidas e completas para requisitos estruturados, atuando como um "parada obrigatória" para violações críticas ou um sistema de alerta graduado para incompatibilidades menores.

2. Concorrência Baseada em Atores:
   Para garantir robustez e isolamento de falhas, o sistema utiliza o modelo de atores (implementado via Elixir na Máquina Virtual Erlang). Pipelines de verificação executam múltiplos fluxos de análise heterogênea (validação de regras simbólicas, extração de entidades, comparações de incorporação neural) concorrentemente, sem estado mutável compartilhado. Atores supervisores monitoram processos trabalhadores, reiniciando automaticamente componentes falhos (por exemplo, tempos limite de inferência neural) sem corromper o estado mais amplo de validação simbólica.

3. Verificação Híbrida de Saída (Pós-processamento):
   A arquitetura implementa uma estratégia de verificação consciente de tipos para conteúdo gerado por LLMs:

   • Entidades Estruturadas: Para dados determinísticos (datas, identificadores, valores numéricos), o sistema usa correspondência de padrões simbólicos e comparação baseada em regex para fornecer verificação exata.
   • Reivindicações de Texto Livre: Para conteúdo semântico, o sistema emprega similaridade semântica baseada em incorporação (usando codificadores de sentenças multilíngues) para detectar alucinações contextuais onde os métodos formais carecem de expressividade.
   • Integração Paralela: Fluxos de processamento simbólico e neural são executados em paralelo. Em cenários de recuperação, a filtragem simbólica reduz o espaço de busca (por exemplo, por tipo de seção ou ID de relatório) antes da classificação neural, reduzindo ruído e uso de tokens para modelos implantados localmente.

4. Design de Preservação de Privacidade:
   O sistema impõe processamento "local prioritário", garantindo que toda inferência, incorporação e verificação ocorram em hardware local. Dados sensíveis são isolados dentro de subárvores de supervisão dedicadas, e incorporações vetoriais servem como transformações com perda para coleções indexadas, garantindo proteção teórica da informação.

Implementação do Sistema: HAIMEDA
A arquitetura é instanciada no HAIMEDA (IA Híbrida para Avaliação de Dispositivos Médicos), um sistema desenvolvido através de Pesquisa de Design de Ação (ADR) com um especialista do domínio. O HAIMEDA é projetado para o contexto jurídico alemão, onde um perito judicial juramentado deve produzir relatórios de avaliação de danos sob restrições rigorosas de confidencialidade e soberania de dados. O sistema integra:

• Módulo de Redação de Relatórios (RAM): Gerencia a geração por meio de modelos Llama3-DiscoLeo-Instruct-8B ajustados.
• Módulo de Pesquisa e Investigação (RIM): Executa redução híbrida para recuperação de conhecimento do domínio.
• Módulo de Verificação de Integridade da Informação (IIVM): Realiza verificação multietapa contra material de origem.

Resultados
A avaliação foi conduzida em hardware de nível de consumidor (AMD Ryzen 9, NVIDIA RTX 4090) para refletir restrições realistas de implantação local.

• Detecção de Alucinações: O sistema alcançou taxas de detecção superiores a 83% para entidades estruturadas (via verificações simbólicas) e 72% para fabricações semânticas (via similaridade neural). A lógica de pré-processamento alcançou 100% de detecção de condições obrigatórias ausentes.
• Eficiência do Fluxo de Trabalho: A avaliação prática com um especialista do domínio revelou uma redução de 30% no tempo total de criação do relatório. Especificamente, o tempo de redação de conteúdo diminuiu 50%, e o tempo de pesquisa baseada em documentos diminuiu 33%, embora o tempo de revisão final tenha aumentado devido ao processo de verificação.
• Usabilidade do Sistema: O sistema recebeu uma pontuação na Escala de Usabilidade do Sistema (SUS) de 62,5.

Significado e Alegações
O artigo alega que arquiteturas neuro-simbólicas podem fornecer salvaguardas principistas para a implantação de LLMs em domínios sensíveis a dados, abordando as limitações das abordagens puramente neurais. A contribuição principal é uma arquitetura agnóstica ao modelo que fundamenta garantias formais na validação simbólica, em vez de depender das capacidades de um único modelo base. Ao separar tarefas de verificação com base em sua natureza (restrições decidíveis versus ambiguidade semântica), o sistema oferece uma solução escalável para garantir a integridade da informação sem comprometer a soberania de dados. Os autores enfatizam que essa abordagem vai além de soluções pontuais para oferecer um padrão arquitetônico generalizável para IA híbrida, permitindo pipelines de controle de qualidade isolados de falhas e implantáveis localmente, essenciais para indústrias regulamentadas. O artigo reconhece limitações, incluindo a dependência da cobertura de regras específicas do domínio e a necessidade de trabalhos futuros sobre transferência entre domínios e estudos de ablação.