💬 NLP

Latent Fact-Checking: Detecting Misinformation through Activation Engineering

Este artigo apresenta o LaFaCt, um framework escalável de detecção de desinformação que identifica falsidades ao projetar a ativação do último token de uma entrada em uma "direção de desinformação" latente derivada de engenharia de ativação contrastiva, alcançando um desempenho competitivo em vários tamanhos de modelos sem exigir ajuste fino ou recuperação de evidências externas.

Autores originais: Pedro Barcelos, Otávio Parraga, Marcelo M. Mussi, Lucas M. Fraga, Lucas S. Kupssinskü, Rodrigo C. Barros

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pedro Barcelos, Otávio Parraga, Marcelo M. Mussi, Lucas M. Fraga, Lucas S. Kupssinskü, Rodrigo C. Barros

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Linguagem Secreta dos Cérebros de IA

Imagine que você tem um robô gigante e superinteligente que consegue escrever histórias, responder perguntas e conversar como um humano. Os cientistas chamam esses modelos de "Grandes Modelos de Linguagem". Por muito tempo, as pessoas pensaram que a única maneira de saber se o robô estava dizendo a verdade era ouvindo o que ele dizia em voz alta. Mas aqui está o detalhe: às vezes o robô parece muito confiante e fluido, mesmo quando está inventando coisas. É como um mágico que é tão bom em seu ato que você acredita que o coelho está realmente saindo do chapéu, embora seja apenas uma técnica.

Para descobrir se o robô está mentindo, pesquisadores têm tentado construir sistemas que verificam os fatos do robô contra uma biblioteca de livros ou a internet. Mas há outra ideia circulando no mundo da ciência da computação: e se o robô souber que está mentindo, mesmo que não diga isso? Pense no cérebro humano. Quando você conta uma mentira, seu coração pode acelerar ou suas mãos podem suar, mesmo que sua voz permaneça calma. Cientistas acreditam que os modelos de IA possuem "sinais internos" semelhantes. Eles acreditam que, dentro do cérebro digital do robô, existem padrões ocultos — como um código secreto — que mostram se uma afirmação é verdadeira ou falsa, muito antes de o robô digitar sua resposta final. Este artigo é justamente sobre aprender a ler esses sinais secretos para flagrar a desinformação sem precisar pedir que o robô se explique ou consulte uma biblioteca.

Lendo a Mente do Robô para Pegar Mentirosos

Neste estudo, uma equipe de pesquisadores do Brasil decidiu parar de ouvir as palavras do robô e começar a observar suas "ondas cerebrais". Eles usaram um truque inteligente chamado engenharia de ativação. Imagine o cérebro do robô como uma sala gigante cheia de milhares de interruptores de luz. Quando o robô pensa em algo, um padrão específico de luzes se acende. Os pesquisadores descobriram que existe uma "direção" específica nesta sala de luzes que aponta para as mentiras, e uma direção diferente que aponta para a verdade. É como encontrar uma bússola secreta dentro do robô que sempre aponta para o Norte, mesmo quando o robô está tentando fingir que está voltado para o Sul.

A equipe não precisou ensinar nada novo ao robô ou mudar seu céreão (o que é chamado de "ajuste fino" ou fine-tuning). Em vez disso, eles usaram um método chamado Adição de Ativação Contrastiva (CAA). Veja como eles fizeram: eles pegaram um par de frases — uma verdadeira e uma falsa — e pediram ao robô para fingir que a verdadeira era falsa, e a falsa era verdadeira. Ao comparar os "padrões de luz" (ativações) que o robô criou para esses dois cenários opostos, eles calcularam a diferença exata entre eles. Essa diferença tornou-se a sua "Bússola da Mentira".

Uma vez que tiveram essa bússola, eles a testaram em afirmações reais. Eles não pediram ao robô para responder à pergunta. Em vez disso, alimentaram uma afirmação no robô, observaram o "padrão de luz" final que o robô criou e o projetaram em sua Bússola da Mentia. Se o padrão apontasse fortemente na direção da "Mentira", o sistema deles sinalizava como desinformação. Eles testaram isso em 11 cérebros de robôs diferentes, variando de pequenos com 270 milhões de partes até enormes com 12 bilhões de partes, usando três conjuntos diferentes de desafios reais de verificação de fatos.

O Que Eles Descobriram (e o Que Não Descobriram)

Os resultados foram surpreendentemente claros. Nos dois dos três desafios (LIAR e FACTors), o método da "Bússola da Mentira" dos pesquisadores funcionou melhor do que pedir ao robô para apenas adivinhar ou dar a ele alguns exemplos para aprender. Na verdade, o método foi especialmente bom em ajudar os robôs menores e mais fracos. Por exemplo, um robô pequeno que geralmente errava cerca de 46% das vezes no conjunto de dados LIAR saltou para 73% de acerto apenas usando esse sinal interno. É como dar a um aluno pequeno e confuso um guia de referência secreto que o ajuda a identificar a resposta correta sem que ele precise conhecer perfeitamente o assunto.

Os pesquisadores sugerem que isso funciona porque o céreão do robô realmente contém a verdade, mesmo quando ele falha em dizê-la. A "Bússola da Mentira" encontra esse sinal de verdade oculto. No entanto, a história não é perfeita em todos os lugares. No terceiro desafio (AVeriTeC), o método não funcionou tão bem, especialmente para os robôs maiores. A equipe explica que este conjunto de dados é diferente: as afirmações ali só podem ser provadas como verdadeiras ou falsas se você for buscar informações extras na internet primeiro. Como o método deles apenas analisa a afirmação em si e não vai buscar evidências externas, ele fica confuso. É como tentar julgar se um problema de matemática está correto apenas olhando para a pergunta, sem poder consultar o gabarito ou fazer as contas.

A Conclusão

Este artigo sugere que nem sempre precisamos construir sistemas massivos e caros para verificar fatos. Às vezes, a verdade já está escondida dentro do próprio cérebro do robô, esperando para ser encontrada. Ao simplesmente ler os sinais internos do robô, podemos detectar mentiras de forma mais rápida e com menos poder de processamento do que antes. Os pesquisadores descobriram que esta "Bússola da Mentira" funciona em muitos tipos diferentes de cérebos de robôs e tamanhos, provando que a capacidade de distinguir verdade de mentira é um caminho estruturado e linear dentro dessas máquinas.

No entanto, eles são cuidadosos ao dizer que isso não é uma solução mágica para tudo. Se uma mentira exigir a verificação de um artigo de notícias específico ou um artigo científico para ser exposta, este método sozinho não poderá realizar o trabalho. Mas para muitas situações, especialmente onde precisamos verificar fatos rapidamente ou usar robôs menores e mais baratos, esta abordagem oferece uma nova ferramenta poderosa. Ela usa o conhecimento oculto do próprio robô contra a desinformação, provando que, às vezes, a melhor maneira de pegar um mentiroso é ouvir o que ele não está dizendo.

Resumo Técnico: Verificação de Fatos Latente via Engenharia de Ativação

Problema

A proliferação da desinformação exige sistemas de detecção escaláveis. Embora os Grandes Modelos de Linguagem (LLMs) se destaquem pela fluência, eles frequentemente geram afirmações plausíveis, porém factualmente incorretas ("falsidades imitativas"). As abordagens tradicionais de Verificação Automática de Fatos (AFC) dependem de características linguísticas superficiais, ajuste fino (fine-tuning) ou recuperação de evidências externas. No entanto, esses métodos enfrentam limitações: o ajuste fino requer um volume substancial de dados rotulados e generaliza mal; sistemas baseados em recuperação são computacionalmente caros e sensíveis à qualidade da evidência; e estratégias de prompting sofrem com instabilidade e alucinação.

Além disso, existe um "hiato de geração-discriminação" onde os modelos podem possuir conhecimento latente que distingue a verdade da falsidade, mas falham em expressá-lo em seus outputs padrão. Este artigo postula que a veracidade não é meramente uma propriedade do texto gerado, mas um conceito estruturado e linearmente separável dentro do espaço de representação latente dos modelos transformer, oferecendo um caminho alternativo para a detecção sem modificar os pesos do modelo.

Metodologia

O framework proposto, Latent Fact-Checking (LaFaCt), utiliza engenharia de ativação para detectar desinformação ao explorar as propriedades geométricas do fluxo residual de um modelo. A abordagem não requer ajuste fino do modelo base nem recuperação de evidência externa.

1. Construção de Prompts Contrastivos

Para cada afirmação de treinamento $s_i$ , os autores constroem um par de prompts estruturados para ancorar a conclusão do modelo a polaridades de veracidade específicas:

$p^+_i$ : Ancora a resposta para "Verdadeiro" (ex: "Resposta: (A)").
$p^-_i$ : Ancora a resposta para "Falso" (ex: "Resposta: (B)").
O mapeamento entre as letras (A/B) e os valores de verdade é randomizado para evitar que o modelo associe a desinformação a um token fixo.

2. Estimativa da Direção da Falsidade

Seguindo o princípio da Adição de Ativação Contrastiva (CAA), o método calcula a diferença média entre os estados ocultos elicitados por prompts verdadeiros e falsos. Para uma camada $\ell$ , o vetor de direção da falsidade $v^{(\ell)}$ é definido como:
$v^{(\ell)} = \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)+}_i - \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)-}_i$
onde $h^{(\ell)\pm}_i$ representa a ativação do último token do respectivo prompt. Este vetor estima o eixo no fluxo residual que separa a verdade da falsidade.

3. Projeção de Vetor e Classificação

Ao contrário da CAA, que injeta este vetor para direcionar a geração, este método o utiliza como um eixo de referência fixo para classificação:

Projeção: A ativação do último token da afirmação pura (sem o template A/B) é projetada sobre a direção normalizada $\hat{v}^{(\ell)}$ .
Seleção de Camada: Um classificador MLP é treinado nessas projeções para cada camada $\ell$ . A camada ótima $\ell^*$ é selecionada com base na acurácia de validação.
Modelo Final: A direção é recalculada usando o conjunto de treinamento completo (treino + validação), e um MLP final é treinado nas ativações projetadas na camada $\ell^*$ .

4. Inferência

Na inferência, uma nova afirmação é passada pelo modelo congelado. Sua ativação de último token na camada selecionada $\ell^*$ é projetada sobre a direção de falsidade aprendida e alimentada no MLP para prever a veracidade.

Principais Contribuições

Vetores de Direcionamento para Julgamento Factual: Os autores investigam e validam a existência de vetores de direcionamento lineares derivados de datasets de verificação de fatos que codificam direções de falsidade.
Análise de Transferência entre Datasets: O estudo analisa a transferibilidade das direções aprendidas entre diferentes datasets (AVeriTeC, LIAR, FACTors), revelando que datasets dependentes de evidências geram direções menos portáteis em comparação com datasets de apenas afirmações.
Ablação por Camada: O trabalho identifica camadas específicas do transformer que são mais discriminativas para o julgamento de veracidade, demonstrando que as camadas de detecção ideais variam conforme a arquitetura e a escala do modelo.

Resultados Experimentais

O método foi avaliado em 11 modelos (famílias Gemma, Llama, Qwen) variando de 270M a 12B de parâmetros em três benchmarks: AVeriTeC, LIAR e FACTors.

Desempenho no LIAR e FACTors: A abordagem latente superou consistentemente as linhas de base de zero-shot e few-shot prompting em quase todas as configurações de modelo.
- Modelos Pequenos: Os ganhos foram mais significativos para modelos menores (ex: Gemma-3-1B melhorou de 0.52 para 0.75 de acurácia no LIAR; Llama-3.2-1B de 0.46 para 0.73).
- Robustez: O método superou o few-shot prompting mesmo quando este fornecia exemplos explícitos de rótulos, sugerindo que o sinal latente é mais rico do que a geração de superfície.
Desempenho no AVeriTeC: Os resultados foram mais limitados, com o método performando de forma comparável ou ligeiramente abaixo das linhas de base para modelos maiores.
- Atribuição: Os autores atribuem isso ao esquema de rotulagem baseado em evidências do AVeriTeC. As afirmações neste dataset são rotuladas com base em evidências web externas e raciocínio multi-salto, o que não pode ser capturado apenas pelo texto da afirmação. O método, operando apenas na representação interna da afirmação, não consegue acessar os fatos externos necessários para refutar a afirmação.
Escalabilidade e Transferência:
- Tamanho da Amostra: Aumentar o número de pares contrastivos ( $N$ ) melhorou o desempenho no LIAR e FACTors, mas não teve efeito no AVeriTeC, confirmando que a heterogeneidade do dataset (diversidade de tópicos e dependência de evidência) dificulta a convergência de uma única direção global de falsidade.
- Fora da Distribuição (OOD): Direções treinadas no LIAR ou FACTors generalizaram bem entre si. Direções treinadas no AVeriTeC mostraram degradação significativa ao serem aplicadas a outros datasets, reforçando a instabilidade de direções dependentes de evidência.

Significância e Alegações

O artigo alega fornecer evidências de que a veracidade é um conceito estruturado e linearmente separável no espaço latente de modelos de linguagem pré-treinados. A significância deste trabalho reside em:

Complementaridade Prática: Oferece uma alternativa leve, sem necessidade de ajuste fino, para a detecção de desinformação que pode servir como um sinal complementar para pipelines baseados em recuperação.
Eficiência: A abordagem é particularmente eficaz para Pequenos Modelos de Linguagem (SLMs), onde compensa a capacidade limitada, tornando-a viável para cenários onde a inferência em larga escala não é factível.
Verdade Interna vs. Externa: Os resultados apoiam a hipótesidade de que os LLMs codificam sinais de veracidade internamente que são frequentemente mais discriminativos do que o expresso através da geração, efetivamente contornando o hiato de geração-discrição.

Os autores mantêm uma postura modesta, reconhecendo que seu método não é um substituto para a verificação baseada em evidências, mas uma ferramenta prática para a avaliação de nível de afirmação quando o sinal de veracidade é inerente ao próprio texto. Sugere-se que trabalhos futuros integrem representações de documentos recuperados para abordar as limitações observadas em benchmarks dependentes de evidência como o AVeriTeC.