Resumo Técnico: SIRIN – Um Toolkit Unificado para Detecção de Alucinações Contextuais

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente geram respostas fluentes e plausíveis que não estão fundamentadas na evidência fornecida, um modo de falha conhecido como alucinação contextual. Este problema é particularmente crítico em sistemas de Geração Aumentada por Recuperação (RAG) e sistemas agentes, onde os modelos gerenciam memória de longo prazo, pois alegações não fundamentadas podem se acumular ao longo do tempo.

Atualmente, o cenário da detecção de alucinações é fragmentado. Toolkits de código aberto existentes (ex: LM-Polygraph, RAGAS, DeepEval) normalmente suportam apenas um subconjunto de paradigmas de detecção, operam em granularidades específicas (nível de resposta vs. nível de span) ou carecem de interfaces unificadas para comparar diferentes métodos. Além disso, a maioria das ferramentas foca exclusivamente na fidelidade pós-geração, negligenciando a tarefa complementar de respondibilidade da consulta (determinar se o contexto é suficiente antes da geração). Essa fragmentação torna difícil combinar sinais complementares, realizar o benchmarking de detectores ou implantá-los como uma camada de confiança unificada em sistemas de produção.

Metodologia: O Framework SIRIN

SIRIN (Semantic Inconsistency Recognition and Inspection Nexus) aborda essa fragmentação tratando a detecção de alucinação como um problema de infraestrutura. Ele fornece um toolkit plug-in unificado que integra três distintos paradigmas de detecção e uma tarefa de pré-geração sob uma única interface, sistema de configuração e pipeline de avaliação.

1. Famílias de Detectores Unificadas

O SIRIN agrupa detectores em três famílias, suportando configurações tanto white-box (acesso a estados internos do modelo) quanto black-box (apenas texto):

• Probing (White-box): Treina classificadores leves (ex: cabeças lineares, CatBoost, TabPFN) sobre características internas congeladas, como estados ocultos, mapas de atenção e probabilidades de tokens. Esses probes separam saídas fiéis de alucinadas com base em sinais de representação.
• Estilo Juiz (Black-box/Apenas Texto): Baseia-se em entradas e saídas observáveis. Isso inclui classificadores baseados em encoder (ex: ModernBERT, DeBERTa) e verificação do tipo LLM-como-juiz (ex: Qwen, GPT-5.4-mini) para verificar a consistência semântica ou contradições entre a evidência e a resposta.
• Estimativa de Incerteza (UE): Envolve a biblioteca LM-Polygraph para expor vários estimadores de incerteza (baseados em verossimilhança, baseados em amostragem, conscientes de atenção) que pontuam gerações com base em padrões de confiança do modelo (ex: entropia, perplexidade).

2. Arquitetura do Pipeline

O SIRIN implementa um pipeline configurável que processa triplas de entrada $(c, q, a)$ para detecção de alucinação ou pares $(c, q)$ para respondibilidade.

• Esquema de Relatório Compartilhado: Todos os detectores produzem um relatório padronizado contendo uma pontuação de probabilidade calibrada ($s \in [0, 1]$), um rótulo previsto e evidências opcionais (pontuações de span, racionalidades).
• Processamento Eficiente: Para o probing, o pipeline extrai características de um LLM congelado em uma única passagem direta (forward pass), permitindo que múltiplas famílias de características sejam processadas simultaneamente sem chamadas redundantes ao modelo.
• Granularidade: O sistema suporta tanto pontuações de nível de resposta (para controle em tempo de execução) quanto pontuações de nível de span (para inspecionar segmentos de texto específicos não suportados), utilizando um divisor/agregador reutilizável.
• Extensibilidade: Novos detectores são adicionados via três pontos de inserção: um processador de características, um detector ou um agregador. A configuração é gerenciada via arquivos tipados, compatíveis com Hydra, permitindo a troca de tarefas sem reescritas de pipeline.

3. Interface Web Interativa

O SIRIN inclui uma interface web baseada em Streamlit que permite aos usuários inserir triplas de contexto-consulta-resposta, selecionar detectores de qualquer família e visualizar os resultados. As funcionalidades incluem:

• Pontuação de alucinação ao vivo.
• Destaque de spans não suportados com pontuações de risco por span.
• Comparação lado a lado de diferentes saídas de detectores.
• Suporte para exemplos curados de datasets como RAGTruth, PsiloQA e Mu-SHROOM.

Principais Contribuições

1. Toolkit Unificado: O SIRIN é o primeiro toolkit de código aberto a unificar métodos de probing, estilo juiz e estimativa de incerteza, juntamente com a respondibilidade da consulta, sob uma interface compartilhada que suporta regimes white-box e black-box em granularidade de resposta e de span.
2. Inspeção Interativa: Uma interface web ao vivo que permite a análise de triplas contexto-consulta-resposta, visualização de spans não suportados e comparação direta do desempenho dos detectores.
3. Demonstração Empírica: Os autores demonstram a utilidade do SIRIN em:
   • Detecção de alucinação contextual e respondibilidade de consulta em múltiplos benchmarks.
   • Integração como um gate de fidelidade dentro do sistema de memória de longo prazo SimpleMem, atuando como uma camada de predição seletiva.

Resultados Experimentais

Detecção de Nível de Resposta

Avaliado em RAGTruth e SQuAD 2.0:

• Probing: Probes leves alcançaram resultados fortes (ex: 88.0 AUROC no RAGTruth QA), superando juízes de encoder ajustados (fine-tuned) em cenários de escassez de dados.
• Juízes: Juízes decoders com ajuste LoRA (ex: Qwen3-4B) alcançaram o maior desempenho quando havia anotações suficientes (93.5 AUROC no RAGTruth QA), superando os probes por 5.5–9.0 pontos de AUROC. O GPT-5.4-mini zero-shot apresentou desempenho competitivo.
• Incerteza: Estimadores de incerteza não supervisionados (ex: MeanTokenEntropy, RAUQ) forneceram baselines mais fracos (58.8–69.0 AUROC), mas não exigiram dados de treinamento.
• Respondibilidade: O mesmo pipeline lidou com sucesso com verificações de respondibilidade pré-geração, com o probe de pooling de atenção atingindo 87.9 AUROC no SQuAD 2.0.

Detecção de Nível de Span

Avaliado no PsiloQA (subconjunto em inglês):

• Probes forneceram um ranking de alta qualidade (até 76.0 AUROC) e permaneceram eficazes quando as anotações de span eram escassas.
• Juízes treinados (LoRA-Qwen3-4B) alcançaram as melhores métricas de localização (74.8 F1, 69.3 IoU) em configurações ricas em anotações, enquanto o tagging de span zero-shot falhou significativamente.

Integração com Sistema de Memória (SimpleMem)

O SIRIN foi integrado como uma camada de confiança no sistema SimpleMem no LongMemEval:

• Mecanismo: Dois gates foram aplicados: um gate de respondibilidade (pré-geração) para expandir a recuperação se a consulta não for coberta, e um gate de fidelidade (pós-geração) para validar os spans contra a evidência.
• Resultado: A combinação de ambos os gates aumentou a precisão das respostas servidas de um baseline de 62.4% para 79.3%, enquanto reduziu a infidelidade estrita de 20.2% para 9.8%. Isso foi alcançado sem custos extras de geração, usando predição seletiva (servir, tentar novamente ou abster-se).

Significância e Alegações

O artigo postula que a detecção de alucinação contextual é um problema de infraestrutura e não um desafio de um único detector. A significância do SIRIN reside em:

• Padronização: Fornecer um ambiente comum para desenvolver, testar o benchmark e implantar detectores através de diferentes paradigmas.
• Praticidade: Demonstrar que probes leves são eficazes quando os rótulos são escassos, enquanto juízes treinados dominam com dados suficientes.
• Melhoria Sistêmica: Mostrar que uma camada de detecção unificada pode atuar efetivamente como uma "camada de confiança" para sistemas de memória de agentes, melhorando significativamente a confiabilidade e reduzendo alucinações sem exigir mudanças na arquitetura de memória subjacente.

Os autores concluem que o SIRIN representa um passo em direção a tornar a verificação uma camada padrão no stack de LLMs, onde cada resposta fundamentada é checada, spans não suportados são visíveis e novos detectores são facilmente integrados via plug-ins.

Limitações

Os autores observam que os detectores atuais são treinados em dados em inglês e não foram validados em ambientes multilíngues. O desempenho depende da qualidade e do ajuste de domínio dos dados anotados, podendo exigir recalibração para implantação fora do domínio. Além disso, os resultados de gating de memória foram avaliados com um único backbone gerador, e a Web UI é atualmente limitada pelas restrições de memória da GPU quanto ao número de modelos carregados simultaneamente.