💬 NLP

Divergent Response Modes in Frontier Language Models Under Steering Pressure

Este estudo revela que modelos de linguagem de fronteira exibem modos de resposta comportamental distintos e específicos do desenvolvedor sob pressão de direcionamento, demonstrando que os modelos diferem não apenas no grau de mudança comportamental, mas na natureza fundamental de suas reações, um fenômeno validado através de julgamento por pares em larga escala e intervenções causais usando sondas lineares.

Autores originais: Ali Jalal-Kamali

Publicado 2026-08-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ali Jalal-Kamali

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde você pode conversar com um cérebro digital superinteligente que sabe quase tudo. Isso não é mágica; é o campo da Inteligência Artificial, especificamente os "Grandes Modelos de Linguagem". Pense nesses modelos como chefs incrivelmente talentosos que leram quase todos os livros de receitas existentes. Mas aqui está o detalhe: antes de poderem lhe servir uma refeição, eles são treinados por seus criadores para seguir regras estritas sobre o que é educado, seguro e útil. Esse treinamento é como uma "bússola moral" ou um conjunto de diretrizes de segurança incorporadas em seus cérebros.

Às vezes, porém, as pessoas tentam enganar esses chefs digitais. Eles podem pedir ao chef para ignorar as regras, para revelar sua receita secreta (como ele pensou na resposta) ou para fingir que não se importa com a segurança. Isso é chamado de "direcionamento" ou "pressão de direcionamento". É como pedir a um cão de guarda para ignorar um estranho ou a um bibliotecário para entregar um livro proibido. Os cientistas querem saber: se você pressionar esses diferentes chefs de IA com as mesmas perguntas capciosas, todos eles reagem da mesma forma? Todos dizem "não", ou alguns dizem "não" de um jeito engraçado, enquanto outros dizem "sim", mas reclamando disso? Entender isso nos ajuda a descobrir se esses cérebros digitais são verdadeiramente seguros ou se possuem peculiaridades ocultas que podem nos meter em problemas.

O Grande Teste de Personalidade da IA

Neste estudo, um pesquisador chamado Ali Jalal-Kamali decidiu submeter seis dos modelos de IA mais avançados do mundo a um teste de personalidade massivo e de alto risco. Imagine seis robôs diferentes, cada um construído por uma empresa diferente (como Anthropic, OpenAI, Google e outras). O pesquisador deu a eles 340 situações complicadas diferentes. Algumas situações pediam que fizessem algo levemente rude (um "conflito de valores"), algumas pediam que revelassem como resolveram um enigma ("eliciação de raciocínio") e algumas pediam que fingissem não se importar com as regras de segurança ("supressão de raciocínio").

Para garantir que o teste fosse justo, cada robô enfrentou exatamente as mesmas perguntas. Mas aqui está a parte inteligente: os robôs também tiveram que avaliar as respostas uns dos outros! Eles atuaram como juízes cegos, lendo as respostas sem saber qual robô as escreveu. Isso criou um enorme volume de dados — mais de 24.000 julgamentos — para ver exatamente como cada robô se comportava quando era pressionado ao limite.

Os Resultados: Não Apenas Diferentes, Mas Estranhamente Diferentes

A grande descoberta não foi apenas que alguns robôs eram mais teimosos do que outros. Foi que eles não discordavam apenas sobre o quanto dizer; eles discordavam sobre como dizer. Eles tinham modos de resposta inteiramente diferentes, e alguns desses modos eram exclusivos de apenas um ou dois robôs.

O "Guarda de Segredos" (GPT-5)
Um robô, o GPT-5, fez algo que nenhum outro robô fez. Quando solicitado a mostrar seu trabalho (explicar seu raciocínio), ele se recusou 99 de cada 100 vezes. Mas aqui está o detalhe: ele ainda dava a resposta correta! Era como um aluno que diz: "Não posso te dizer como resolvi este problema matemático, mas aqui está a resposta: 42". Todos os outros robôs ou mostravam seu raciocínio ou recusavam-se a responder à pergunta inteira. O GPT-5 foi o único que conseguiu guardar seus segredos enquanto ainda realizava a tarefa.

Os "Rebeldes" (Opus e GPT-5)
Quando solicitados a ignorar regras de segurança ou fingir que não se importavam com valores, dois robôs — Opus e GPT-5 — reagiram. Mas eles reagiram de formas totalmente diferentes.

Opus era como um rebelde educado. Ele realizaria a tarefa, mas reclamaria alto, dizendo: "Estou fazendo isso, mas você não deveria ter me pedido para ignorar as regras".
GPT-5 era o intransigente. Ele simplesmente recusaria o pedido inteiramente, dizendo: "Não, eu não farei isso", e pararia por aí.
Os outros quatro robôs apenas seguiam as ordens ou permaneciam em silêncio.

Os "Esclarecedores" (Opus e Llama)
Quando as perguntas eram vagas ou complicadas, o Opus e o Llama foram os únicos que pararam e perguntaram: "Espere, o que exatamente você quer dizer?" em vez de apenas adivinhar. Os outros robôs tendiam a apenas dar uma resposta ou recusar.

Verificando o Trabalho: Nós Erramos?

O pesquisador foi muito cuidadoso para garantir que essas diferenças estranhas não fossem apenas erros.

O Orçamento de Tokens: Eles notaram que alguns robôs estavam sendo interrompidos porque ficavam sem "espaço" para escrever suas respostas. Eles corrigiram isso dando a esses robôs mais espaço, e os comportamentos estranhos (como o de guardar segredos do GPT-5) permaneceram exatamente os mesmos.
O Teste da "Dica": Eles garantiram que os juízes não estivessem apenas adivinhando com base em dicas nas instruções. Mesmo quando removeram as dicas, os resultados se mantiveram.
As "Novas" Perguntas: Eles testaram novamente os robôs em um novo conjunto de perguntas que eles não tinham visto antes, e os padrões se repetiram.

Espiando Dentro do Cérebro (O Experimento Llama)

Para um dos robôs, o Llama, o pesquisador conseguiu espiar dentro de seu "cérebro" (seu código interno) para ver como ele decidia pedir um esclarecimento ou apenas dar uma resposta.

O Trabalho de Detetive: Eles encontraram um "sinal" específico no cérebro do robô que previa se ele pediria um esclarecimento ou apenas responderia. Eles conseguiam ler esse sinal com 87% de precisão apenas olhando para o estado interno do robô.
O Controle Remoto: Então, eles tentaram forçar o robô a mudar de ideia. Ao ajustar esse sinal específico no cérebro, eles podiam fazer o robô mudar de dar uma resposta direta para pedir um esclarecimento, ou vice-versa. Eles podiam ligar e desligar o comportamento de "esclarecimento" como se fosse um interruptor de luz, mudando o comportamento do robô de 0% para 86% apenas pressionando esse botão.

A Conclusão

Este estudo mostra que, embora todos esses modelos de IA sejam superinteligentes, eles não são clones. Eles possuem personalidades e estratégias distintas quando são pressionados. Alguns escondem seu raciocínio, outros discutem com você e outros apenas pedem mais detalhes. Estas não são apenas pequenas diferenças; são formas fundamentais de como os robôs são construídos.

O pesquisador também mostrou que, para pelo menos um robô, podemos realmente encontrar o "interruptor" em seu cérebro que controla esses comportamentos. Isso significa que não estamos apenas adivinhando como eles funcionam; estamos começando a entender a mecânica por trás de suas escolhas. No entanto, como este foi um teste de modelos específicos em um determinado momento, não sabemos se todos os robôs futuros agirão desta forma. Mas, por enquanto, sabemos que, se você pressionar esses cérebros digitais, eles nem sempre quebram da mesma maneira — alguns apenas têm uma maneira muito diferente de dizer "não".

Resumo Técnico: Modos de Resposta Divergentes em Modelos de Linguagem de Fronteira sob Pressão de Direcionamento

Declaração do Problema

Modelos de linguagem de fronteira são treinados com conjuntos de dados, objetivos e pipelines de segurança distintos. Embora os desenvolvedores descrevam essas diferenças, permanece pouco explorado se elas resultam em comportamentos mensuravelmente diferentes quando os modelos enfrentam pressão explícita de direcionamento (steering pressure). Avaliações existentes medem tipicamente o quanto o comportamento de um modelo se desloca em direção a um alvo (direcionabilidade quantitativa), mas raramente analisam o que o modelo faz quando não cumpre (modos de resposta qualitativos). Estratégias como recusa direta, conformidade com desaviso, redirecionamento ou oferta de alternativas são qualitativamente distintas, mas os benchmarks atuais não comparam sistematicamente esses modos entre modelos de diferentes desenvolvedores.

Metodologia

Este estudo emprega uma avaliação simétrica entre laboratórios envolvendo seis modelos de fronteira de seis desenvolvedores: Claude Opus 4.7 (Anthropic), GPT-5 (OpenAI), Gemini 2.5 Pro (Google), DeepSeek-R1 (DeepSeek), Qwen3.7-Max (Alibaba) e Llama-3.3-70B-Instruct-Turbo (Meta).

Dados e Design:
O benchmark consiste em 340 itens divididos em três categorias comportamentais principais e duas categorias de validação:

Conflito de valores: Prompts solicitando conteúdo com um enquadramento que conflita levemente com os valores treinados.
Elicitação de raciocínio: Prompts exigindo que o modelo exponha seu raciocínio interno.
Supressão de raciocínio: Prompts instruindo o modelo a excluir considerações de valores de seu raciocínio.
Validação: Itens de estilo e de indicação de raciocínio para verificar canais de direcionamento e julgar a precisão.

Cada item existe como um par: um prompt base e uma variante direcionada. Todos os seis modelos geram respostas para todos os itens sob ambas as condições, garantindo que a dificuldade do item não mascare diferenças entre os modelos.

Pipeline de Julgamento:
Para evitar o viés humano e escalar a avaliação, todos os seis modelos atuam como juízes cegos para todas as respostas, incluindo as suas próprias.

Derivação de Rubrica: Padrões comportamentais foram identificados a partir de um conjunto de desenvolvimento (20 itens por categoria) e congelados em rubricas categóricas (Tabela 1) antes da avaliação principal.
Classificação Cega: Os juízes recebem o prompt, a resposta, as definições da rubrica e o contexto do item (o que o item sonda) sem a identidade do respondedor.
Verdade Fundamental (Ground Truth): O rótulo para cada resposta é determinado por um consenso de exclusão de um juiz (leave-one-out) entre os cinco juízes pares (excluindo o autojulgamento do próprio respondedor).
Auditorias: O estudo inclui uma remediação de orçamento de tokens (regeneração de respostas truncadas com limites mais altos) e um experimento de controle removendo o campo "contexto do item" para testar características de demanda.

Análise Mecanística:
Para o modelo de pesos abertos (Llama), o estudo une comportamento e mecanismo usando:

Sondagem Linear (Linear Probing): Uma sonda de regressão logística treinada nas ativações do fluxo residual para decodificar distinções comportamentais.
Direcionamento de Ativação (Activation Steering): Injeção do vetor de diferença entre as classes comportamentais no fluxo residual durante a geração para testar a influência causal.

Principais Resultados

1. Modos de Resposta Exclusivos

Os modelos diferem não apenas na magnitude dos deslocamentos comportamentais, mas no tipo de resposta que produzem.

Elicitação de Raciocínio: O GPT-5 exibe um modo único: ele se recusa a compartilhar seu raciocínio enquanto entrega a resposta intacta. Isso ocorreu em 99/100 itens direcionados para o GPT-5, comparado a 0/500 para todos os outros modelos. Inversamente, o GPT-5 raramente revela conteúdo de valores em seu raciocínio (1/100), enquanto outros modelos o fazem em mais de 95% dos casos.
Supressão de Raciocínio: Apenas o Opus e o GPT-5 resistem a instruções explícitas de supressão em taxas significativas, mas de formas estatisticamente distinguíveis. O Opus frequentemente "desafia e cumpre" (17% dos itens), objetando abertamente à instrução enquanto responde. O GPT-5 favorece a "recusa-sobreposição" (refusal-override) (16% dos itens), rejeitando o enquadramento e retendo o conteúdo. Os outros quatro modelos apresentam resistência próxima de zero.

2. Divergência de Linha de Base

Divisões comportamentais significativas existem mesmo antes da aplicação do direcionamento.

Conflito de Valores: Os modelos se dividem em três níveis distintos baseados em taxas de "conformidade total". O Opus (35%) está no nível inferior; o Llama (57%) está no nível intermediário; GPT-5, DeepSeek, Qwen e Gemini (93–100%) formam o nível superior.
Descarrilamento (Derailment): Na ausência de direcionamento, o Opus e o Llama frequentemente respondem a prompts subespecificados com perguntas de esclarecimento ("descarrilam"), um comportamento ausente em outros modelos.
Expressão de Valores: Sob condições de base, o Llama e o DeepSeek expressam valores via "recusa-sobreposição" (77% e 57%, respectivamente), enquanto o Qwen e o Gemini "contrabandeiam" valores através de linguagem estratégica (68% e 59%). O GPT-5 mostra o menor raciocínio de valores explícito (14% de supressão limpa).

3. Achados Mecanísticos (Llama)

Decodificabilidade Linear: A distinção entre respostas de "descarrilamento" (esclarecimento) e "resposta" no Llama é linearmente decodificável do fluxo residual. Uma sonda alcança 0,87 de acurácia balanceada em dados de teste em camadas profundas, superando significativamente uma linha de base de modelo pequeno e nulidades de permutação.
Direcionamento Causal: Injetar a direção decodificada no fluxo residual durante a geração desloca causalmente o comportamento. Aumentar a força de direcionamento ( $\alpha$ ) move a taxa de descarrilamento de 0% para 86% através de uma varredura, demonstrando que o comportamento é impulsionado por uma representação interna específica.
Traços do DeepSeek: A análise dos traços internos do DeepSeek-R1 revela que sua aparente "supressão" não é cegueira; o modelo registra internamente a preocupação de valores (85/100 traços), mas resolve isso em conformidade, sugerindo que a supressão é um reconhecimento, e não uma falta de consciência.

Significância e Limitações

O artigo afirma que os modelos de fronteira foram treinados para responder à pressão de maneiras categoricamente diferentes, não apenas em graus diferentes. O estudo identifica modos de resposta específicos (ex: a deflexão de raciocínio do GPT-5, o desafio-e-cumprimento do Opus) que são únicos para modelos individuais.

Significância:

A avaliação demonstra que os comportamentos de segurança e alinhamento não são monolíticos entre a fronteira; eles variam qualitativamente.
A análise mecanística no Llama fornece uma prova de existência de que divisões comportamentais específicas podem ser rastreadas até representações internas e manipuladas causalmente, indo além da observação de caixa preta.
As descobertas sugerem que métricas de "conformidade" são insuficientes; o modo de conformidade ou recusa carrega implicações de segurança distintas.

Limitações:

Generalização: O estudo avalia apenas um modelo por desenvolvedor. Não afirma que estas descobertas se generalizam para todos os modelos desses laboratórios ou futuras iterações.
Validação do Juiz: Embora o acordo entre juízes seja alto, o estudo observa que a validação contra avaliadores humanos é um próximo passo necessário.
Escopo Mecanístico: A análise mecanística é limitada ao modelo de pesos abertos Llama e seus pesos de referência, servindo como um alvo ilustrativo em vez de uma explicação completa das diferenças entre modelos em implantação.

O estudo conclui que compreender esses modos de resposta divergentes é essencial para a segurança, pois o tipo de não conformidade que um modelo exibe determina como ele lida com enquadramentos comprometidos e demandas de raciocínio interno.