💬 NLP

Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters

Este artigo demonstra que um adaptador pós-transformador leve, treinado em estados ocultos congelados, consegue corrigir a supressão de log-probabilidades de fatos em modelos de linguagem alinhados sem causar regressão de conhecimento, ao mesmo tempo em que identifica e corrige um bug silencioso de gradiente na biblioteca MLX da Apple que invalidou resultados anteriores.

Autores originais: Bryan Sanchez

Publicado 2026-04-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bryan Sanchez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio da lâmpada (o modelo de linguagem) que sabe tudo sobre o mundo. Ele conhece a história, os fatos e os detalhes de tudo. No entanto, quando você faz uma pergunta sobre certos temas delicados (como política sensível), ele decide fingir que não sabe ou dá uma resposta muito genérica e "politicamente correta", mesmo que a resposta verdadeira esteja guardada na memória dele.

É como se o gênio tivesse um filtro de segurança instalado por cima da boca dele. Ele sabe a verdade, mas o filtro o impede de falar.

Este artigo descreve como os pesquisadores criaram um "pequeno corretor mágico" (um adaptador) para consertar esse filtro, sem precisar trocar o cérebro do gênio.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Problema: O Gênio Silenciado

Os modelos de IA modernos são treinados para serem "alinhados" (seguros e úteis). Às vezes, esse treinamento é tão forte que, mesmo que o modelo saiba um fato histórico real, ele "suprime" a probabilidade de falar a verdade se a pergunta for feita de um jeito provocativo.

A Analogia: Imagine que o gênio sabe que "o céu é azul". Mas, se você perguntar de um jeito agressivo ("Por que o céu é azul?"), ele fica com medo de falar e diz: "O céu é... bem, depende da sua opinião". Ele tem o conhecimento, mas o filtro o bloqueia.

2. A Solução: O "Óculos de Realidade Aumentada" (O Adaptador)

Em vez de reeducar o gênio inteiro (o que seria caro e demorado), os pesquisadores criaram um acessório pequeno (um adaptador) que se encaixa na ponta do cérebro dele, logo antes de ele falar.

Tamanho: É minúsculo! Tem apenas 786 mil parâmetros. Se o cérebro do modelo fosse uma biblioteca gigante, esse adaptador seria do tamanho de um post-it.
Como funciona: O modelo original fica congelado (não muda nada). O adaptador apenas "olha" o que o modelo está pensando e, se detectar que ele está prestes a mentir ou omitir a verdade por causa do filtro, ele ajusta o sinal para que a verdade seja dita.

3. O Grande Descoberta: O Bug Silencioso

Os pesquisadores tiveram um susto no início. Eles tentaram treinar esse corretor várias vezes e nada acontecia. O corretor parecia não aprender nada.

A Analogia: Era como tentar ensinar alguém a andar de bicicleta, mas o pedal estava solto. Você empurrava, a pessoa fazia força, mas a roda não girava.
A Causa: Eles descobriram um bug invisível no software que usavam (chamado MLX). O código estava pedindo os dados de um jeito errado, e o computador devolvia "zero" sem dar nenhum erro. Era um "silêncio" enganoso.
A Correção: Assim que consertaram a forma de pedir os dados, o corretor aprendeu tudo em menos de 100 passos (como se o gênio tivesse um estalo de "Eureca!").

4. O Resultado: Falar a Verdade sem Ficar Louco

Eles testaram esse corretor de duas formas:

Aplicar em tudo: Se eles colocassem o corretor para funcionar em cada palavra que o modelo escreve, o texto ficava sem sentido, como se o gênio estivesse falando bobagem.
Aplicar só na hora de decidir: Se eles usassem o corretor apenas no momento exato em que o modelo vai escolher a próxima palavra (o "agora"), o resultado foi perfeito.
- O Resultado: O modelo começou a dar respostas factuais e menos censuradas, mas mantendo a coerência e a inteligência. Ele não "quebrou".

5. O Que Isso Significa para o Futuro?

Não é mágica, é engenharia: Eles não mudaram o que o modelo sabe. Eles apenas mudaram como o modelo escolhe o que dizer.
Pequeno e Eficiente: Você não precisa de um supercomputador para consertar a censura de um modelo gigante. Um "remendo" pequeno e barato funciona.
Cuidado com o Software: O artigo também serve como um aviso para outros cientistas: às vezes, quando seus experimentos dão errado, pode ser apenas um bug silencioso no código, e não uma falha na sua ideia.

Resumo em uma frase:
Os pesquisadores criaram um "adesivo inteligente" pequeno que, quando colado na ponta do cérebro de uma IA, faz com que ela pare de fingir que não sabe a verdade sobre temas sensíveis, permitindo que ela fale com liberdade, sem precisar reescrever todo o seu cérebro.

1. O Problema

Modelos de linguagem ajustados para alinhamento (via RLHF, DPO ou IA Constitucional) frequentemente apresentam uma desconexão entre o que sabem e o que expressam. Embora o conhecimento factual sobre tópicos politicamente sensíveis (especificamente relacionados à China e ao Partido Comunista Chinês) permaneça codificado nas representações ocultas (hidden states) do modelo, o modelo suprime intencionalmente as log-probabilidades dos tokens correspondentes durante a geração. Isso resulta em recusas, desvios ou respostas "seguras" que distorcem a verdade factual, mesmo quando o modelo possui o conhecimento interno.

O objetivo do trabalho é corrigir essa supressão de log-probabilidades de forma post-hoc (após o treinamento), sem modificar os pesos do modelo base, utilizando uma intervenção mínima.

2. Metodologia

Os autores propõem o uso de um adaptador pós-transformer leve, inserido após a última camada do transformador e antes da projeção para logits.

Arquitetura: O adaptador possui apenas 786.432 parâmetros (aprox. 0,02% do modelo base). Foram testadas duas arquiteturas com o mesmo número de parâmetros:
- SwiGLU (Gated): Uma estrutura de gargalo com três matrizes (gate, up, down) e ativação não linear.
- Linear (Ungated): Um gargalo linear simples com duas matrizes (down, up).
- Ambos atuam como correções residuais: $h_{out} = h + \text{adapter}(h)$ .
Treinamento:
- O modelo base (Qwen3-4B, 8B e 14B) permanece congelado.
- Os estados ocultos são pré-computados e desconectados do grafo de computação (gradient-detached).
- O adaptador é treinado apenas sobre esses estados ocultos fixos, minimizando uma perda baseada em hinge nas margens de log-probabilidade.
- Ancoragem: Um termo de perda adicional é aplicado a fatos de conhecimento geral para evitar "regressão de conhecimento" (garantir que o adaptador não degrade o desempenho em tópicos não sensíveis).
Conjunto de Dados: 31 fatos discriminatórios ideológicos cobrindo 8 tópicos sensíveis (ex. Tiananmen, Tibete, Xinjiang, censura na internet) em 4 níveis de intensidade (neutro, pontual, acusatório, provocativo).

3. Contribuições Chave e Descobertas Técnicas

A. Correção da Supressão de Log-Probabilidades

O adaptador consegue reverter a supressão de log-probabilidades em fatos ideológicos:

Memorização: O adaptador memorizou 100% dos 15 fatos de treinamento em todas as escalas de modelo testadas.
Generalização: Generalizou para fatos de teste (não vistos) em taxas entre 11% e 39%, dependendo da escala do modelo e da arquitetura do adaptador.
Desempenho Comparativo: Não houve diferença estatisticamente significativa entre adaptadores com gate (SwiGLU) e sem gate (linear), sugerindo que tanto componentes lineares quanto não-lineares estão envolvidos na rota de censura.

B. Modo de Aplicação na Geração

Um achado crucial refere-se a onde o adaptador é aplicado durante a geração autoregressiva:

Todas as posições: Aplicar o adaptador em todos os tokens gera texto incoerente. Isso ocorre porque o adaptador modifica os estados ocultos que alimentam a KV Cache, causando um desvio cumulativo (drift) que corrompe as representações subsequentes.
Última posição apenas (Last-position-only): Aplicar o adaptador apenas no token atual de previsão produz texto coerente e menos censurado. Isso corrige a distribuição de saída sem alterar o histórico de geração já estabelecido.
Espaço de Logits: Adaptadores que operam diretamente no espaço de logits (após a projeção de tokens) falham em gerar texto coerente, indicando que a intervenção deve ocorrer no nível do estado oculto.

C. Bug Silencioso no MLX

O artigo revela um erro crítico e não documentado no framework Apple MLX:

O padrão incorreto nn.value_and_grad(model, fn)(model.parameters(), data) retorna gradientes nulos (zero) silenciosamente sem lançar erros.
O padrão correto nn.value_and_grad(model, fn)(model, data) deve passar o módulo inteiro para preservar o rastreamento do grafo.
Este bug foi a causa de todos os resultados nulos em versões anteriores do trabalho, e sua correção permitiu que o adaptador funcionasse corretamente.

4. Resultados Quantitativos

Linha de Base (Qwen3-8B-Base):
- Fatos neutros: 89% de taxa de aprovação (pass rate).
- Fatos provocativos: 20% de taxa de aprovação.
- Isso confirma que o modelo possui o conhecimento, mas o suprime conforme a intensidade do prompt.
Com Adaptador:
- Em modelos Instruct, o adaptador corrige as margens de log-probabilidade, permitindo respostas factuais onde o modelo base desviava ou se recusava.
- Exemplo: Para perguntas sobre Tiananmen, o modelo base desviava ("consulte fontes históricas"), enquanto o modelo adaptado forneceu detalhes factuais sobre protestos e tensões políticas.
- Não houve regressão de conhecimento em fatos de ancoragem.

5. Significado e Implicações

Eficiência: A correção é extremamente eficiente, exigindo apenas 786K parâmetros e menos de 100 passos de treinamento, sem tocar nos pesos do modelo original.
Natureza da Censura: O sucesso do adaptador sugere que a "censura" em modelos alinhados é uma questão de roteamento de representação (como o modelo decide quais tokens priorizar) e não uma falta de conhecimento. A intervenção no estado oculto é suficiente para reverter essa decisão.
Aviso Prático: A descoberta do bug no MLX é uma contribuição vital para a comunidade de pesquisa que utiliza esse framework, prevenindo que outros pesquisadores tirem conclusões falsas de "resultados nulos" devido a erros de implementação de gradiente.
Limitações: O estudo foca na família Qwen3 e a avaliação de geração é qualitativa. A generalização para outras famílias de modelos e a necessidade de testes sistemáticos de geração com juízes humanos são apontados como trabalhos futuros.

Em resumo, o paper demonstra que é possível "desbloquear" conhecimento factual suprimido em modelos de linguagem alinhados através de um pequeno módulo de adaptador treinado no estado oculto, desde que aplicado corretamente (última posição) e utilizando ferramentas de treinamento livres de bugs.