🤖 machine learning

Inverted Detection and Control in Steering Vectors

Este artigo identifica um fenômeno onde vetores de direção altamente discriminativos podem paradoxalmente promover comportamentos opostos (denominados "vetores de direção invertidos"), propõe um método geométrico para detectar e corrigir esses vetores sem geração, e demonstra que aplicar essas inversões de sinal melhora significativamente o desempenho da intervenção em tempo de inferência através de múltiplos modelos de linguagem de grande escala e conceitos.

Autores originais: Max Torop, Aria Masoomi, Jennifer Dy

Publicado 2026-08-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Max Torop, Aria Masoomi, Jennifer Dy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um cérebro digital gigante a dizer a verdade ou a ser educado. Você não quer reprogramar toda a mente dele do zero; isso é muito difícil e lento. Em vez disso, você quer dar um empurrãozinho, um toque suave no ombro, para lembrá-lo da coisa certa a fazer enquanto ele está pensando. No mundo da inteligência artificial, esse "empurrãozinho" é chamado de Vetor de Direcionamento (Steering Vector). Pense nisso como uma agulha de bússola magnética escondida dentro do cérebro da IA. Se a IA estiver derivando em direção a uma mentira, você aponta a agulha para a "verdade", e os pensamentos da IA devem se realinhar magicamente para seguir essa direção. Por muito tempo, os cientistas acreditaram que isso era um jogo direto de física: se a agulha da bússola aponta para a "verdade", empurrar a IA nessa direção a tornaria mais verdadeira. Parecia uma regra simples: encontrar a direção que separa as mentiras das verdades e empurrar a IA ao longo dessa linha.

Mas e se a bússola estivesse quebrada? E se, em vez de guiar a IA em direção à verdade, a agulha estivesse na verdade apontando exatamente para o lado oposto, e empurrar a IA nessa direção a fizesse mentir ainda mais? Esta é a reviravolta surpreendente descoberta em um novo estudo da Northeastern University. Os pesquisadores descobriram que, às vezes, as próprias ferramentas que usamos para controlar o comportamento da IA são "invertidas". Elas parecem estar apontando para o caminho certo, mas estão, na verdade, levando a IA pelo caminho errado. Essa descoberta é crucial porque significa que simplesmente encontrar uma direção que parece separar o bom do mau não é suficiente; temos que garantir que a IA realmente se mova na direção certa quando a empurramos. Se não verificarmos essas direções "invertidas", podemos acidentalmente tornar nossa IA menos honesta, menos útil ou mais perigosa, mesmo quando pensamos que estamos ajudando-a.

O Mistério da Bússola Invertida

O artigo, intitulado "Inverted Detection and Control in Steering Vectors", mergulha em um fenômeno estranho que os autores chamam de Vetores de Direcionamento Invertidos (ISVs). Para entender isso, vamos imaginar o cérebro da IA como uma cidade massiva, de múltiplas camadas. Dentro desta cidade, existem milhões de pequenos mensageiros (chamados "cabeças de atenção") passando notas uns para os outros. Quando queremos que a IA seja verdadeira, tentamos encontrar uma "direção" específica na cidade que represente a "verdade". Geralmente, encontramos isso observando as notas que a IA escreve quando diz a verdade versus quando mente. A diferença entre esses dois conjuntos de notas nos dá o nosso "Vetor de Direcionamento" — um mapa apontando para a verdade.

A suposição antiga era simples: se você empurrar os pensamentos da IA ao longo deste mapa, ela deve se tornar mais verdadeira. Mas os autores descobriram que, para alguns desses mapas, acontece o oposto. Eles chamam esses casos de Vetores de Direcionamento Invertidos (ISVs). É como ter um mapa que diz "Norte é por aqui", mas quando você caminha para o Norte, acaba indo para o Sul. O mapa parece perfeito — ele claramente separa o bairro da "verdade" do bairro da "mentira" — mas se você tentar usar esse mapa para guiar a IA, você a empurrará na direção errada.

Os pesquisadores testaram isso em três modelos diferentes de IA (Gemma 3, Qwen 2.5 e Olmo 3) e cinco conceitos diferentes, incluindo honestidade, busca de riqueza e ser "corrigível" (disposto a ser corrigido). Eles descobriram que esses mapas invertidos não são acidentes raros; são uma falha sistemática. Na verdade, descobriram que alguns vetores eram tão bons em detectar a diferença entre verdade e mentira (com uma pontuação chamada AUC de até 0,97, que é muito alta) que pareciam perfeitos. No entanto, quando os pesquisadores usaram esses vetores para direcionar a IA, ela fez exatamente o oposto do pretendido.

Como Eles Descobriram a Falha

Então, como saber se sua bússola está quebrada antes de começar a caminhar? Os autores criaram um truque inteligente que não exige esperar que a IA escreva uma história inteira para depois verificar se ela é boa. Isso levaria muito tempo e custaria muito dinheiro. Em vez disso, eles observaram o que acontece dent dentro do cérebro da IA enquanto ela está pensando, antes mesmo de ela falar.

Eles introduziram um conceito chamado Resposta de Representação. Imagine o cére simplesmente como uma série de salas. Você aperta um botão na primeira sala (o vetor de direcionamento) e observa o que acontece na próxima sala no final do corredor. Se a bússola estiver funcionando corretamente (um "Vetor de Direcionamento Regular"), apertar o botão na primeira sala deve fazer a segunda sala brilhar com sinais de "verdade". Mas se a bússola estiver invertida (um ISV), apertar o botão na verdade faz a segunda sala brilhar com sinais de "mentira".

Ao medir esse efeito de "brilhar", os pesquisadores criaram uma pontuação que chamam de Pontuação de Engodo (Spoof Score). Se a pontuação for positiva, a bússola está funcionando. Se a pontuação for negativa, a bússola está quebrada e apontando para trás. Isso permitiu que eles identificassem os vetores invertidos sem nunca terem que gerar uma única frase de texto. É como verificar se o volante de um carro está conectado às rodas olhando as engrenagens, em vez de dirigir o carro para fora de um penhasco para ver o que acontece.

Consertando o Empurrão

Uma vez que souberam como identificar as bússolas quebradas, os autores testaram um conserto simples: inverter o sinal. Se a Pontuação de Engodo disser que o vetor está invertido, eles apenas revertem a direção do empurrão. Em vez de empurrar a IA para "frente" ao longo do vetor, eles a empurram para "trás".

Os resultados foram dramáticos. Em seus experimentos, eles compararam o método padrão (que apenas empurra na direção que o vetor aponta) com o novo método deles (que verifica a Pontuação de Engodo e inverte a direção se necessário). Em 27 de 30 experimentos, o novo método deles funcionou melhor. Em alguns casos, a melhoria foi massiva, chegando a 138% melhor na promoção do comportamento desejado. Por exemplo, ao tentar tornar a IA mais honesta, o método padrão às vezes a tornava ligeiramente melhor, mas o novo método deles a tornou significativamente mais verdadeira.

Por Que Isso Importa

Esta descoberta muda a forma como pensamos sobre o controle da IA. Por muito tempo, a regra de ouro era: "Encontre uma direção que separe o bem do mal, e empurre nessa direção". Este artigo sugere que essa regra está incompleta. Só porque uma direção separa os dois não significa que empurrar ao longo dela moverá a IA em direção ao lado bom. Às vezes, a separação é real, mas a conexão com o comportamento da IA está invertida.

Os autores enfatizam que isso não é apenas uma curiosidade teórica; é um problema prático que afeta como construímos IAs seguras. Se dependermos desses vetores sem verificar a inversão, podemos acidentalmente direcionar nossa IA para comportamentos prejudiciais enquanto pensamos que a estamos direcionando para a segurança. Ao usar o novo teste da "Pontuação de Engodo", podemos capturar esses erros antes que aconteçam, garantindo que, quando dermos um empurrão na IA, ela realmente vá para onde queremos que ela vá.

Em resumo, o artigo revela que o mapa interno da IA pode ser enganoso. Ele nos mostra que, para controlar verdadeiramente esses modelos poderosos, precisamos ser mais do que apenas leitores de mapas; precisamos ser verificadores de bússolas, garantindo que a direção escolhida realmente nos leve ao destino desejado.

Resumo Técnico: Detecção e Controle Invertidos em Vetores de Direcionamento

Definição do Problema
Vetores de direcionamento (steering vectors - SVs) são um método prevalente para controlar o comportamento de Grandes Modelos de Linguagem (LLMs) durante a inferência. Baseando-se na hipótese da representação linear, os SVs são tipicamente construídos como a diferença média entre as representações de textos que exibem um conceito (positivo) e aqueles que não o exibem (negativo). A suposição padrão é que esses vetores são linearmente discriminativos e que deslocar as representações ao longo da direção positiva do vetor promove o conceito, enquanto deslocá-las na direção negativa o suprime.

No entanto, os autores identificam um fenômeno onde essa suposição falha sistematicamente. Eles observam "Vetores de Direcionamento Invertidos" (Inverted-Steering Vectors - ISVs): direções que são altamente discriminativas (alinhando-se fortemente com representações positivas), mas que consistentemente induzem o efeito comportamental oposto quando direcionadas. Por exemplo, adicionar um ISV positivo ao estado interno de um modelo pode suprimir um conceito como veracidade ou corrigibilidade, em vez de promovê-lo. Isso contradiz a intuição de que a capacidade de detecção (discriminabilidade) implica capacidade de controle na mesma direção. Diferente de observações anteriores de exemplos "anti-direcionáveis", que eram específicos de um input ou associados a uma baixa discriminabilidade, os ISVs exibem esse efeito invertido de forma consistente em diversos inputs, apesar da alta discriminabilidade.

Metodologia
O artigo propõe uma caracterização geométrica dos ISVs e um método para detectá-los sem a necessidade de geração de texto custosa ou pontuação baseada em LLM.

Caracterização Geométrica: Os autores analisam como o direcionamento de uma cabeça de atenção candidata ( $a_{up}$ ) afeta as representações a jusante (downstream) em cabeças discriminativas ( $a_{dwn}$ ). Eles definem a Resposta de Produto Interno (Inner-Product Response - IPR), denotada por $\kappa_\alpha$ , que mede a mudança no produto interno entre uma representação a jusante e seu próprio vetor de direcionamento quando a cabeça a montante (upstream) é direcionada.
- Para um Vetor de Direcionamento Regular (Regular-Steering Vector - RSV), o direcionamento com $\alpha > 0$ aumenta o produto interno nas cabeças a jusante, efetivamente "simulando" (spoofing) a presença do conceito a jusante.
- Para um ISV, o direcionamento com $\alpha > 0$ diminui o produto interno nas cabeças a jusante, efetivamente "simulando" a ausência do conceito.
Resposta de Representação ( $\Gamma$ ): Para resumir a IPR através de uma gama de fatores de direcionamento ( $\alpha$ ) e múltiplas cabeças a jusante, os autores definem a Resposta de Representação. Esta métrica captura a monotonicidade e a magnitude da direcionalidade da simulação.
- Uma Resposta de Representação positiva indica um RSV (o direcionamento alinha-se com a presença do conceito a jusante).
- Uma Resposta de Representação negativa indica um ISV (o direcionamento alinha-se com a ausência do conceito a jusante).
Pontuação de Simulação (Spoof Score - $s_{spoof}$ ): Os autores agregam as Respostas de Representação através de todas as cabeças a jusante discriminativas para calcular uma única Pontuação de Simulação para um vetor candidato. Esta pontuação serve como um preditor para determinar se um vetor é um ISV ou um RSV.
ITI-RRF (Intervenção de Tempo de Inferência com Inversão de Resposta de Representação): Os autores propõem uma modificação ao pipeline fundamental de ITI. Em vez de aplicar um sinal de direcionamento uniforme às top- $k$ cabeças discriminativas, o método calcula a Pontuação de Simulação para cada cabeça candidata. Se uma cabeça possui uma Pontuação de Simulação negativa (indicando um ISV), o sinal de direcionamento é invertido (ou seja, $\alpha$ torna-se $-\alpha$ ) antes da aplicação. Isso permite a correção de sinal direcionada sem gerar texto.

Principais Contribuições

Identificação de ISVs: O artigo demonstra a existência de ISVs em três modelos (Gemma 3 12B, Qwen 2.5 14B, Olmo 3 7B) e cinco conceitos (corrigibilidade, busca de riqueza, miopia, recusa, veracidade). Esses vetores são altamente discriminativos (alto AUC), mas induzem efeitos comportamentais invertidos.
Métrica Geométrica: Os autores introduzem a Resposta de Representação e a Pontuação de Simulação, fornecendo uma explicação geométrica para o efeito invertido: os ISVs deslocam as representações a jusante como se o conceito estivesse ausente, mesmo quando o vetor de direcionamento se alinha com as representações positivas.
Detecção sem Geração: O método proposto identifica ISVs e determina as inversões de sinal necessárias usando apenas passagens de ida (forward passes) e análise de representação, eliminando a necessidade de avaliação custosa baseada em geração e pontuação por LLM-Judge.
Melhoria na Eficácia do Direcionamento: Ao integrar inversões de sinal baseadas na Pontuação de Simulação no pipeline de ITI (ITI-RRF), os autores mostram melhorias significativas de desempenho.

Resultados

Detecção de ISV: No cenário de Múltipla Escolha (MC), a Pontuação de Simulação distinguiu com sucesso ISVs de RSVs com um AUC de 0,91 e 81% de precisão em um limiar de 0. A separação entre as duas classes foi sistemática: os ISVs geraram pontuações negativas, enquanto os RSVs geraram pontuações positivas.
Ganhos de Desempenho: A abordagem ITI-RRF melhorou os resultados em 27 de 30 experimentos comparado ao ITI padrão.
- As melhorias variaram de +0,9% a +138%.
- Ganhos notáveis incluíram uma melhoria de +138% na promoção da corrigibilidade no Gemma 3 12B.
- O método melhorou tanto as tarefas de promoção quanto as de supressão de conceitos em todos os modelos e conceitos testados.
Robustez: Os resultados mantiveram-se consistentes em diferentes arquiteturas de modelos e tipos de conceitos, sugerindo que o fenômeno da inversão é uma propriedade sistemática de certas combinações modelo-conceito-camada, e não uma anomalia.

Significância
O artigo afirma que a relação entre detecção (discriminabilidade) e controle (efeito de direcionamento) é mais complexa do que caracterizado anteriormente. A existência de ISVs sugere que confiar apenas em métricas de discriminabilidade para selecionar direções de direcionamento é insuficiente e pode levar a resultados contraproducentes.

A significância deste trabalho reside em:

Correção de uma Falha Sistemática: Fornece um mecanismo para detectar e corrigir uma quebra sistemática no elo detecção-controle, evitando a supressão inadvertida de conceitos quando se tenta promovê-los (e vice-versa).
Eficiência: Oferece uma maneira computacionalmente eficiente de validar vetores de direcionamento sem o overhead de uma avaliação completa baseada em geração, tornando o direcionamento robusto mais escalável.
Segurança e Confiabilidade: Em cenários de alto risco (ex: medicina, finanças), a capacidade de controlar o comportamento do modelo de forma confiável é crítica. O artigo destaca que, sem validação explícita (como a verificação de inversão de sinal), as intervenções de direcionamento podem levar a resultados indesejados ou prejudiciais. O método proposto aumenta a confiabilidade das técnicas de controle baseadas em direcionamento.

Os autores concluem que os futuros pipelines de direcionamento devem considerar a potencial inversão de sinal em vez de assumir que uma direção positivamente discriminativa promoverá o conceito.

O Mistério da Bússola Invertida

Como Eles Descobriram a Falha

Consertando o Empurrão

Por Que Isso Importa

Mais como este