💻 computer science

When Does a Readout Reflect Computation? Dose-Response Interventions in Continuous Thought Models

Este artigo demonstra que, em modelos de pensamento contínuo, a interpretabilidade baseada em leitura (readout) frequentemente falha em refletir a computação subjacente porque os estados latentes necessários para mudar a resposta do modelo são significativamente maiores do que aqueles necessários para alterar a leitura projetada, necessitando de curvas de dose-resposta em vez de intervenções de magnitude única para uma análise causal precisa.

Autores originais: ChaeWoo Son

Publicado 2026-08-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: ChaeWoo Son

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender como um robô superinteligente pensa. Normalmente, quando conversamos com esses robôs, eles falam em palavras, então podemos ler seus "pensamentos" à medida que eles acontecem. Mas há um novo tipo de robô que pensa em uma linguagem secreta e invisível — uma nuvem contínua e giratória de números chamada "espaço latente". Ele faz toda a sua matemática e raciocínio dentro dessa nuvem sem nunca dizer uma palavra até estar pronto para dar a resposta final. Isso é como um chef cozinhando uma refeição complexa em uma cozinha selada; você não pode ver o picar ou o mexer, apenas o prato final.

Para espiar dentro dessa cozinha secreta, os cientistas usam uma ferramenta especial de "leitura". Pense nisso como uma janela mágica que projeta a nuvem de números invisível do robô em uma parede de palavras de vocabulário. Se o robô estiver pensando em "Paris", a janela pode mostrar a palavra "Paris" brilhando intensamente. Por muito tempo, os pesquisadores assumiram que, se vísamos a janela piscar uma palavra, o robô estava definitivamente pensando naquela palavra. Eles acreditavam que a janela era um espelho perfeito do cérebro do robô. Mas e se a janela for um pouco trapaceira? E se ela piscar uma palavra apenas porque você deu um leve toque no vidro, mesmo que o robô não tenha realmente mudado de ideia? Esta é a grande questão que este artigo questiona: a janela realmente mostra o que o robão está computando, ou está apenas reagindo ao toque?

Os pesquisadores, liderados por ChaeWoo Son, decidiram testar isso jogando um jogo de "cabo de guerra" com o cérebro do robô. Eles usaram um tipo específico de robô chamado "Coconut" (Chain of Continuous Thought — Cadeia de Pensamento Contínuo), que raciocina nesse espaço secreto de números. Para tornar o teste justo, eles primeiro treinaram o robô para que sua "janela" (uma ferramenta chamada J-lens) mostrasse confiavelmente uma palavra específica, como uma ponte entre dois fatos. Então, começaram a cutucar o cérebro do robô com pequenos empurrões controlados. Eles não apenas cutucaram aleatoriamente; eles mediram exatamente a força do empurrão (a "dose") e observaram duas coisas: a janela mudou sua palavra e a resposta final do robô mudou?

Os resultados foram uma grande surpresa. Eles descobriram que a janela e o cérebro real do robô têm "limiares de sensibilidade" muito diferentes. Imagine que a janela é como um sensor de movimento muito sensível que apita se você passar por ele, enquanto o cérebro do robô é como um cofre pesado que só abre se você apertar o botão com muita força. Os pesquisadores descobriram que, quando deram um empurrão no robô apenas o suficiente para fazer a janela mudar para uma nova palavra (um empurrão minúsculo de cerca de 0,13 a 0,16 unidades de força), o cérebro do robô não se mexeu nem um pouco. O robô manteve sua resposta original. Na verdade, em um tipo de tarefa, o cérebro do robô precisou de um empurrão mais de duas vezes mais forte (2,03 vezes mais forte) para realmente mudar de ideia.

Ainda mais estranho, eles encontraram um "túnel secreto" no cérebro do robô. Eles encontraram uma direção para empurrar que a janela não conseguia ver de jeito nenhum. Mesmo que a janela permanecesse congelada na palavra antiga, o céreber do robô trocou completamente sua resposta para uma nova em 96–97% dos casos! Era como se o robô estivesse sussurrando um novo segredo para si mesmo enquanto a janela continuava gritando o antigo. Quando tentaram empurrar em uma direção aleatória com a mesma força, nada aconteceu, provando que não era apenas sobre o quão forte eles empurravam, mas sim sobre onde eles empurravam.

O artigo também admite um erro engraçado que cometeram. A princípio, tentaram testar se o robô estava usando seus pensamentos de "ponte" ao dar um empurrão apenas o suficiente para fazer a janela mudar. Eles pararam de empurrar no momento em que a janela mudou, pensando que já tinham feito o suficiente. Mas, como a janela é tão sensível, eles pararam cedo demais — antes mesmo de o cére de o robô começar a mudar. Eles obtiveram um resultado que dizia "nada aconteceu", mas foi um alarme falso porque não empurraram com força suficiente.

A principal lição é um aviso para qualquer pessoa que tente ler a mente de um robô: Você não pode apenas olhar para a janela e assumir que sabe o que o robô está pensando. A janela pode mudar de ideia muito antes do robô, ou pode não mudar de jeito nenhum mesmo quando o robô está fazendo algo enorme. Para realmente entender o robô, você tem que medir o quão forte está empurrando e ver como o robô reage em cada etapa, não apenas em um único momento. A janela é uma ferramenta útil, mas não é um espelho perfeito da computação que está acontecendo lá dentro.

Resumo Técnico: Quando um Readout Reflete a Computação? Intervenções de Dose–Resposta em Modelos de Pensamento Contínuo

1. Problema

Modelos de Cadeia de Pensamento Contínuo (Coconut) realizam o raciocínio em um espaço latente contínuo, alimentando o último estado oculto como o próximo embedding de entrada, em vez de decodificar etapas intermediárias em tokens de linguagem natural. Embora isso ofereça expressividade, cria um "problema de monitorabilidade": a computação intermediária não pode ser observada diretamente.

As práticas atuais de interpretabilidade dependem de readouts — projeções de estados ocultos para o espaço do vocabulário (por exemplo, via Logit Lens ou Tuned Lens). A inferência padrão é: se o readout muda, a computação subjacente mudou. No entanto, essa inferência foi historicamente testada em uma única magnitude de intervenção. O artigo postula que, se o readout e a computação possuírem sensibilidades diferentes à mesma direção de intervenção, um teste de magnitude única não pode revelar a discrepância, levando potencialmente a conclusões falsas sobre o raciocínio interno do modelo.

2. Metodologia

Para medir a sensibilidade do readout versus a computação como uma função da magnitude da intervenção, o autor construiu um ambiente de teste controlado e um protocolo de dose–resposta.

2.1 Construção do Ambiente de Teste Controlado

Supervisão J-Lens: O autor treinou um modelo Coconut de 2 bilhões de parâmetros em tarefas de recuperação factual de dois saltos (two-hop). Eles adicionaram um termo J-lens à função de perda para forçar o pensamento contínuo (estado latente) a se alinhar com um token específico de "entidade ponte" (bridge entity), mantendo a perda da resposta inalterada.
Validação: Esta supervisão alcançou uma probabilidade de massa >0,95 no token ponte no readout, enquanto mantinha 100% de precisão na resposta. Isso garantiu que o readout fosse "controlado" (apontando para um token conhecido) sem degradar a capacidade computacional do modelo.
Auto-rotulagem: O autor demonstrou que o modelo pode gerar seus próprios rótulos de ponte via readout J-lens, eliminando a necessidade de anotação humana adicional para o sinal de supervisão.

2.2 Protocolo de Intervenção Dose–Resposta

A inovação central é um protocolo que desacopla a magnitude da intervenção da direção:

Magnitude Relativa Fixa ( $\alpha$ ): As intervenções são aplicadas com uma magnitude relativa fixa $\alpha = \|\delta\|/\|h\|$ , recalculada a cada passo latente para compensar a divergência do estado.
Decomposição Ortogonal: O delta causal ( $d = h_{donor} - h_{recipient}$ $d = h_{d o n or} - h_{r ec i p i e n t}$ ) é decomposto em dois componentes ortogonais:
- $d_{\parallel}$ : O componente paralelo ao gradiente da lente (a direção que a lente detecta).
- $d_{\perp}$ : O componente ortogonal ao gradiente da lente (a direção que a lente é "cega" para detectar).
Controle Aleatório Pareado: Uma direção aleatória é gerada que é ortogonal ao gradiente da lente e pareada em norma com $d_{\perp}$ . Isso controla a magnitude e a invisibilidade da lente, isolando o efeito da direção.
Varredura de Dose: O autor variou $\alpha$ através de uma grade (0,10 a 0,60) para gerar curvas de dose–resposta tanto para o readout (mudança de token) quanto para a computação (mudança de resposta).

3. Resultados Principais

3.1 Dissociação de Limiares (Direção Visível pela Lente)

Ao longo da direção que a lente detecta ( $d_{\parallel}$ ), o readout e a computação possuem limiares de ativação significativamente diferentes:

Sensibilidade do Readout: O readout muda para o token do doador em magnitudes relativas de 0,125–0,158.
Sensibilidade da Computação: A resposta não muda nessas magnitudes.
- Na relação lmk (landmark $\to$ país $\to$ capital), o limiar da resposta é 2,03 $\times$ maior (0,253) que o limiar do readout.
- Na relação typeA (capital $\to$ país $\to$ continente), a resposta nunca atinge uma inversão de maioria antes do modelo quebrar (produzindo um token não relacionado) em altas magnitudes.
Implicação: Uma intervenção de norma mínima que para assim que o readout muda (o procedimento padrão) para aproximadamente metade do limiar causal (ou abaixo dele), falhando em detectar o elo causal.

3.2 O Canal "Invisível"

Ao longo da direção que a lente não detecta ( $d_{\perp}$ ):

Computação: As intervenções transplantam com sucesso a resposta em 96–97% dos ensaios (limiares $\approx$ 0,45–0,48).
Readout: O readout nunca muda (0/900 ensaios) e permanece fixado ao token do receptor.
Controle: O controle aleatório pareado não produziu mudanças nem no readout nem na resposta, confirmando que o efeito se deve à direção específica de $d_{\perp}$ , e não apenas à magnitude.

3.3 A Armadilha do "Falso Nulo"

O autor relata um experimento inicial pré-registrado que caiu nesta armadilha:

Eles intervieram até que o readout mudasse (parando na magnitude $\approx$ 0,119).
Resultado: 0/90 mudanças na resposta. Eles inicialmente concluíram que a ponte não era usada na computação.
Correção: A curva de dose–resposta revelou que o limiar da resposta era 0,253. O teste inicial falhou porque parou cedo demais, medindo abaixo do limiar causal.

3.4 Robustez

A lacuna de limiar persiste (1,74 $\times$ ) mesmo sem a supervisão J-lens, indicando que a dissociação não é um artefato do sinal de treinamento, mas uma propriedade estrutural do modelo.
A lacuna não é explicada pelo modelo "quebrar" em altas magnitudes; a dissociação ocorre na janela de operação estável.

4. Contribuições

Protocolo de Dose–Resposta: Um método para separar a sensibilidade do readout da sensibilidade computacional usando decomposição ortogonal de magnitude fixa e controles aleatórios pareados.
Dissociação Quantificada: Evidência de que o readout e a computação possuem limiares diferentes ao longo da mesma direção, e que a computação pode ser transplantada ao longo de direções que o readout não registra.
Diagnóstico de Intervenções de Norma Mínima: Uma demonstração de que intervenções padrão direcionadas ao readout produzem sistematicamente falsos negativos (falsos nulos) porque param antes que a computação mude.
Ambiente de Teste Controlado: Um método para alinhar readouts a tokens específicos sem perda de precisão, permitindo medições causais precisas.

5. Significância e Alegações

O artigo argumenta que a sensibilidade do readout é uma propriedade do readout, não da computação. O fato de um readout mudar não implica que a computação mudou, nem que a falta de mudança no readout implique a falta de mudança computacional.

Aviso Metodológico: Alegações de interpretabilidade baseadas em intervenções de magnitude única são insuficientes. Um resultado nulo (nenhuma mudança na resposta) não consegue distinguir entre "a direção não é causal" e "não empurramos com força suficiente".
Prescrição: Alegações causais baseadas em readout devem ser reportadas como curvas de dose–resposta que incluam:
1. A magnitude na qual o readout responde.
2. A magnitude na qual a saída responde.
3. Um controle aleatório pareado em magnitude e invariantes.
Escopo: O autor é modesto quanto à generalização, observando que as medições foram feitas em um único modelo, uma única camada e relações sintéticas. Eles não pretendem mapear todo o espaço latente, mas sim expor uma limitação estrutural na forma como os readouts são atualmente interpretados.

O artigo conclui que o trabalho que pergunta "o que pode ser lido de um readout" deve também perguntar "em qual magnitude o que é lido corresponde à computação".