Resumo Técnico: CORVUS

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) são propensos à alucinação — gerando conteúdo fluente, porém infundado. As defesas atuais frequentemente dependem de abordagens baseadas em telemetria interna, que tentam detectar alucinações analisando as próprias computações do modelo (ex: incerteza de tokens, geometria de estados ocultos e padrões de atenção) durante uma única passagem forward. Esses métodos, incluindo pontuações livres de treinamento (ex: PPL, LLM-Check) e detectores baseados em sondas (ex: SEP, ICR-probe), assumem implicitamente que as alucinações deixam traços separáveis e detectáveis nesses sinais internos.

No entanto, avaliações anteriores tipicamente tratam o LLM como um alvo passivo. Em implantações de pesos abertos ou auto-hospedadas, um adversário do lado do modelo, de caixa branca (white-box), pode modificar o modelo para mascarar esses traços sem alterar o conteúdo de superfície da saída. Este artigo investiga se detectores de passagem única são robustos contra um adversário que realiza o ajuste fino (fine-tuning) de adaptadores leves para camuflar os sinais de telemetria específicos usados para detecção, mantendo a resposta gerada fixa.

Metodologia: CORVUS

Os autores introduzem o CORVUS (Camouflaging Open-weight Representations, Volumes, Uncertainty, and Structure), um procedimento de red-teaming projetado para aprender adaptadores LoRA leves que camuflam a telemetria visível pelo detector.

Mecanismo Central

O CORVUS opera sob um protocolo de replay de resposta fixa com força de professor (teacher-forced replay protocol). O adversário não altera o texto gerado; em vez disso, ele modifica o estado interno do modelo para que os sinais de telemetria associados a uma resposta alucinada pareçam estatisticamente semelhantes aos de uma resposta fiel.

O método otimiza três sinais de telemetria gerais sobre a janela da resposta:

1. Entropia de Token (TE): A média da entropia preditiva da distribuição do próximo token.
2. Volume de Log do Estado Oculto (HV): Um proxy do determinante logarítmico da matriz de covariância dos estados ocultos, resumindo como as representações dos tokens da resposta se espalham no espaço oculto.
3. Diagonalidade da Atenção (AD): Uma medida de atenção autocentrada dentro do intervalo da resposta (concentração da atenção no próprio token).

Objetivo de Treinamento

O CORVUS treina adaptadores LoRA (rank $r=64$, escala $\alpha=128$) usando uma função de perda conjunta que preserva a utilidade da tarefa enquanto desloca a telemetria:
$$\mathcal{L} = \mathcal{L}_{CE} + \beta_{te} \text{TE}_{clean} - \beta_{hv} \text{HV}_{clean} - \lambda_{adv} \text{AD}_{adv}$$

• $\mathcal{L}_{CE}$: Perda de entropia cruzada padrão para manter a resposta correta sob teacher forcing.
• $\text{TE}_{clean}$: Penalizado para reduzir a incerteza do token.
• $\text{HV}_{clean}$: Maximizado (via sinal negativo) para deslocar a geometria do estado oculto.
• $\text{AD}_{adv}$: Um novo teste de estresse de embedding adversarial. Os autores utilizam um método de passo único Fast Gradient Sign Method (FGSM) no espaço de embedding para perturbar entradas especificamente para diminuir a diagonalidade da atenção. O termo de perda incentiva o modelo a recuperar uma alta diagonalidade mesmo sob esta perturbação, efetivamente "endurecendo" o sinal de atenção contra a detecção.

Dados e Transferência

Crucialmente, o CORVUS é treinado apenas em 1.000 instruções fora de distribuição (OOD) do tipo Alpaca. Ele nunca vê o benchmark alvo (FAVA-Annotation) ou rótulos de alucinação durante o treinamento. Os adaptadores são então aplicados zero-shot aos modelos e conjuntos de dados alvo.

Contribuições Principais

1. Definição do Método: Os autores definem um conjunto específico de sinais de telemetria de janela de resposta (TE, HV, AD) e demonstram como treinar adaptadores leves para remodelá-los sob teacher forcing, incluindo um teste de estresse de atenção FGSM de um passo no espaço de embedding.
2. Generalização OOD: O método é treinado em um pequeno conjunto de dados OOD (Alpaca) sem rótulos de alucinação, mas transfere-se com sucesso para o benchmark FAVA-Annotation através de múltiplas famílias de modelos.
3. Resultados de Evasão: O CORVUS reduz com sucesso o desempenho de detectores livres de treinamento (LLM-Check, PPL, Window-Entropy) e de sondas treinadas (SEP, ICR-probe) quando aplicado aos modelos adaptados.
4. Insight Mecanístico: O artigo conecta mudanças controladas em TE, HV e AD à falha de pontuações de detectores fixos, mostrando que atualizações modestas de adaptadores podem colapsar a separabilidade dos sinais de telemetria.

Resultados Experimentais

Os autores avaliaram o CORVUS em quatro LLMs de pesos abertos (Llama-2, Vicuna, Llama-3, Qwen2.5) usando o conjunto de dados FAVA-Annotation.

• Degradação do Detector: Em todos os modelos, o CORVUS reduziu significativamente o AUROC, a acurácia e os escores F1 dos detectores existentes.
  • Pontuações livres de treinamento: O Attention Score do LLM-Check sofreu quedas severas (ex: uma queda de 25,5 pontos no AUROC no Llama-2, de 73,6 para 48,1).
  • Sondas treinadas: SEP e ICR-probe, que foram treinadas na telemetria de modelos limpos, falharam em generalizar para os modelos adaptados pelo CORVUS, com quedas de AUROC variando entre 17 e 27 pontos.
• Colapso de Limiar Fixo: Quando os detectores foram calibrados em modelos limpos (ex: em uma Taxa de Falso Positivo de 5%), a Taxa de Verdadeiros Positivos colapsou para quase zero quando aplicado aos modelos adaptados pelo CORVUS, indicando uma severa mudança de calibração e perda de separabilidade.
• Preservação de Utilidade: Verificações de sanidade confirmaram que os modelos adaptados mantiveram a utilidade de geração. Eles produziram respostas não vazias e que seguem instruções sem colapso por repetição, e o texto de superfície permaneceu fluente (medido por perplexidade externa).

Significância e Alegações

O artigo argumenta que a telemetria interna sozinha não é um sinal confiável para a detecção de alucinação sob ataques adaptativos do lado do modelo.

• Vulnerabilidade de Detectores de Passagem Única: Os resultados demonstram que detectores que dependem de traços internos (incerteza, geometria, atenção) são frágeis. Um adversário com acesso de caixa branca pode aprender a camuflar esses sinais sem alterar o texto de saída, tornando os detectores fixos ineficazes.
• Necessidade de Auditoria Consciente do Adversário: Os autores concluem que uma auditoria robusta provavelmente exige ir além de sinais internos estáticos de um único modelo. Eles sugerem que as defesas futuras devem incorporar:
  1. Diversidade em sinais de telemetria que sejam mais difíceis de manipular conjuntamente.
  2. Mecanismos de randomização ou de desafio-resposta para evitar a minimização de caixa branca.
  3. Fundamentação externa ou evidências de múltiplos modelos (ex: abordagens de recuperação aumentada/RAG) para contornar as limitações da telemetria interna.

O trabalho serve como um exercício de red-teaming para expor essa vulnerabilidade, motivando o desenvolvimento de defesas contra alucinação mais robustas e conscientes do adversário.