A Risk-Oriented Verification and Validation Framework for Hallucination Detection in Public-Sector LLM Systems

Resumo Técnico: Um Framework de Verificação e Validação Orientado ao Risco para Detecção de Alucinação em Sistemas de LLM do Setor Público

Definição do Problema
O artigo aborda o desafio crítico da "alucinação" (a geração de conteúdo fluente, mas sem fundamentação factual) em Modelos de Linguagem de Grande Escala (LLMs) implantados em sistemas administrativos e jurídicos do setor público. Diferente das aplicações de consumo, os resultados do setor público possuem peso jurídico; orientações procedimentais errôneas, citações legais falsas ou designações de autoridade incorretas podem comprometer a certeza jurídica, a responsabilidade administrativa e a confiança cívica.

O autor argumenta que a literatura existente trata a alucinação primordialmente como um problema de precisão técnica, baseando-se em métodos de detecção centrados no modelo (ex: amostragem de autoconsistência, entropia semântica) ou geração aumentada por recuperação (RAG). Essas abordagens são frequentemente inadequadas para a implantação no setor público porque pressupõem acesso a estados internos do modelo, capacidades de retreinamento ou parâmetros de inferência específicos — condições raramente atendidas ao utilizar APIs de LLM de "caixa-preta". Além disso, os métodos atuais focam na precisão da detecção em vez das implicações de governança da detecção, falhando em traduzir sinais de risco em decisões operacionais (ex: quando escalar para agentes humanos).

Metodologia
O artigo propõe um Framework de Verificação e Validação (V&V) Orientado ao Risco que reformula a alucinação não como um problema de otimização de modelo, mas como um risco operacional e de governança gerenciável. A metodologia é agnóstica ao modelo, baseando-se exclusivamente em saídas observáveis, fontes autoritativas externas e restrições baseadas em regras, tornando-a aplicável a ambientes de caixa-preta.

O framework opera através de quatro estágios interconectados:

1. Decomposição Administrativa Baseada em Slots:
   As respostas do LLM são decompostas em cinco "slots" administrativamente significativos, correspondentes a elementos procedimentais:

   • Documentos exigidos
   • Autoridade competente
   • Cronograma de processamento
   • Taxas
   • Base legal
     Esta decomposição permite a localização granular do risco, reconhecendo que erros em slots de alto impacto (ex: base legal) são mais consequentes do que erros em slots de baixo impacto (ex: documentos de suporte).

2. Detecção de Sinais de Risco por Slot:
   Três indicadores quantitativos são calculados para cada slot:

   • Pontuação de Instabilidade do Slot (SIS): Mede a instabilidade entre amostras gerando múltiplas respostas independentes para a mesma consulta. Uma alta variância indica incerteza epistêmica.
   • Pontuação de Cobertura de Citação (CCS): Avalia se o conteúdo do slot é explicitamente suportado por fontes autoritativas e válidas (ex: textos estatutários). Uma pontuação zero em slots de alto risco é tratada como um indicador crítico.
   • Pontuação de Violação de Regra (RVS): Uma verificação binária contra restrições estruturais e jurisdicionais predefinidas (ex: verificar se uma lei citada existe ou se uma autoridade possui jurisdição).

3. Agregação no Índice de Risco de Alucinação (HRI):
   Os sinais de nível de slot são agregados em um Índice de Risco de Alucinação (HRI) composto. Trata-se de uma soma ponderada onde os pesos ($w_i$) refletem o impacto administrativo do respectivo slot. A fórmula incorpora coeficientes de ajuste ($\alpha, \beta, \gamma$) para equilibrar instabilidade, falta de citação e violações de regra:
   $$HRI = \sum_{i} w_i \cdot (\alpha \cdot SIS_i + \beta \cdot (1 - CCS_i) + \gamma \cdot RVS_i)$$
   O HRI serve como um escore de risco operacional, em vez de uma probabilidade de correção.

4. Fluxo de Decisão Operacional:
   O HRI é mapeado para estados operacionais predefinidos com base em limiares:

   • PASS (HRI < 0,20): Entrega direta.
   • WARN (0,20 ≤ HRI < 0,35): Resposta condicional com esclarecimento.
   • DEFER (0,35 ≤ HRI < 0,50): Retenção de afirmações autoritativas; isolamento de slots de alto risco.
   • ROUTE (HRI ≥ 0,50): Escalação obrigatória para agentes humanos.
   • Regras de Sobrescrita (Override): Condições específicas (ex: RVS=1 para base legal) disparam escalação imediata, independentemente do escore agregado, para evitar a falsa sensação de segurança proveniente da agregação estatística.

5. Artefatos de V&V Estilo ISO/IEC:
   O framework formaliza o gerenciamento de alucinação em artefatos padrão de garantia de software, incluindo casos de teste com objetivos explícitos, precondições e critérios de aceitação quantitativos, garantindo auditabilidade e rastreabilidade.

Principais Contribuições

• Reenquadramento de Governança: Muda o paradigma de "detectar alucinações" para "gerenciar o risco de alucinação", alinhando a implantação de LLMs com a responsabilidade e os requisitos de auditoria do setor público.
• Compatibilidade com Caixa-Preta: Fornece um mecanismo de verificação viável para ambientes onde os modelos não podem ser retreinados ou inspecionados internamente.
• Quantificação Granular de Risco: Introduz o HRI, uma métrica composta que traduz sinais técnicos heterogêneos em um índice orientado à governança, interpretável por auditores e tomadores de decisão.
• Supervisão Humana Proporcional: Estabelece um fluxo de trabalho onde a intervenção humana é acionada proporcionalmente aos níveis de risco, equilibrando eficiência operacional com segurança institucional.
• Padronização: Integra o gerenciamento de alucinação em processos de V&V existentes no estilo ISO/IEC, facilitando a adoção dentro de estruturas de aquisição governamental e garantia de qualidade.

Resultados e Avaliação
O artigo apresenta o framework através de cenários ilustrativos envolvendo registro de estado civil, licenciamento e consultas de assistência social. A avaliação demonstra como o framework processa esses cenários:

• Ele identifica com sucesso saídas de alto risco (ex: citações legais fabricadas ou autoridades incorretas) que poderiam passar como "autoconsistentes" em verificações tradicionais centradas no modelo.
• Demonstra como o HRI diferencia inconsistências informacionais de baixo impacto de erros procedimentais de alto impacto, acionando as ações apropriadas de "DEFER" ou "ROUTE".
• Valida que o framework pode interceptar saídas perigosas antes que cheguem aos canais oficiais, convertendo o comportamento opaco do modelo em riscos operacionais quantificáveis e controláveis.

Significado e Alegações
O artigo alega que seu significado primário reside em oferecer uma abordagem prática e consistente com a governança para implantar LLMs no setor público sem comprometer a previsibilidade jurídica. Argumenta-se que:

• A confiança é construída sobre o controle, não sobre a infalibilidade: A confiança institucional na IA não deve depender de alegações de precisão perfeita, mas de procedimentos transparentes e auditáveis para identificar e gerenciar falhas.
• A diferenciação de risco é essencial: Nem todas as alucinações são iguais; a abordagem de slots do framework garante que os recursos de governança sejam focados nos elementos procedimentais mais consequentes.
• A integração é viável: Ao mapear os riscos de alucinação para práticas padrão de garantia de software, o framework remove barreções institucionais à adoção de IA, permitindo que agências públicas utilizem LLMs enquanto aderem aos princípios estabelecidos de direito administrativo e responsabilidade.

O autor nota modestamente que o estudo se baseia em cenários demonstrativos em vez de um benchmarking quantitativo massivo e que o framework é um complemento, e não um substituto, para estratégias de mitigação ao nível do modelo, como o RAG. Sugere-se como trabalho futuro o ajuste empírico de limiares e a expansão para contextos multimodais.