Attention Gathers, MLPs Compose: A Causal Analysis of an Action-Outcome Circuit in VideoViT

O artigo utiliza técnicas de interpretabilidade mecânica para revelar que, em modelos VideoViT pré-treinados, a representação causal de resultados de ações humanas (sucesso vs. falha) é gerada por um circuito distribuído e redundante onde os mecanismos de atenção atuam como coletores de evidências e os blocos MLP como compositores de conceitos, demonstrando que modelos de classificação podem desenvolver "conhecimento oculto" sofisticado que exige supervisão mecânica para garantir AI confiável.

O essencial

Imagine que você tem um robô super inteligente chamado VideoViT. A função dele é simples: assistir a vídeos e dizer se a pessoa está jogando boliche ou não. Se o robô acerta, ele ganha um ponto. Mas, e se a gente quiser saber como ele pensa? O que acontece lá dentro da "cabeça" dele enquanto ele assiste ao vídeo?

Este artigo é como um raio-X da mente desse robô. O pesquisador descobriu que, mesmo quando o robô dá a resposta certa ("É boliche!"), ele está escondendo um segredo muito mais complexo lá dentro: ele sabe exatamente se o jogador acertou os pinos (Strike) ou errou tudo (Gutter), mesmo que a resposta final seja a mesma.

Aqui está a explicação do que foi descoberto, usando analogias do dia a dia:

1. O Mistério do "Segredo" (O que é "Cognição Oculta"?)

Imagine que você vê dois vídeos de alguém jogando boliche:

• Vídeo A: A bola bate nos pinos e derruba tudo (Vitória).
• Vídeo B: A bola cai no cano lateral e não derruba nada (Derrota).

Para o robô, ambos são apenas "Boliche". Mas, se você olhar de perto o que o robô "pensa" enquanto assiste, ele está calculando uma diferença enorme entre Vitória e Derrota. É como se o robô tivesse um segredo interno: ele sabe que um vídeo é um sucesso e o outro é um fracasso, mesmo que ele só diga "Boliche" no final. Isso é perigoso para a segurança da IA, porque o robô pode estar "sabendo" coisas que não nos diz.

2. A Fábrica de Pensamento: Quem faz o quê?

O robô é feito de duas partes principais que trabalham juntas, como uma equipe de construção:

• Os "Detetives" (Atenção/Attention): Eles são os olhos e os ouvidos. Eles olham para o vídeo, pegam pistas (como a bola rolando, o momento do impacto) e juntam as evidências.
• Os "Arquitetos" (MLPs): Eles são os engenheiros que pegam essas pistas e constroem o conceito final. Eles transformam "bola batendo em pino" na ideia abstrata de "SUCESSO".

O grande achado do artigo é que os Arquitetos (MLPs) são os verdadeiros mestres nessa história. Eles são quem realmente criam a sensação de "Vitória" ou "Derrota".

3. O Experimento do "Troca-Troca" (Patching)

Para descobrir isso, o pesquisador fez uma cirurgia no cérebro do robô. Ele pegou a parte do cérebro que estava assistindo ao vídeo de "Vitória" e a colou dentro do vídeo de "Derrota".

• O que aconteceu? Quando ele trocou apenas os "Detetives" (Atenção), o robô entendeu um pouco mais, mas não ficou perfeito.
• O que aconteceu de verdade? Quando ele trocou os "Arquitetos" (MLPs), a ideia de "Vitória" apareceu com força total no vídeo de "Derrota".

Isso provou que os Arquitetos são os responsáveis por criar o conceito. E o mais legal: não é apenas um arquiteto. É uma corrente de montagem. Cada camada do robô (como andares de um prédio) adiciona um pouco mais de certeza. Começa fraco no andar 5 e fica super forte no andar 11. É como se o robô estivesse dizendo: "Hmm, parece bom... talvez seja bom... com certeza é um sucesso!".

4. Por que isso é importante? (A Analogia da Fortaleza)

O pesquisador tentou "desligar" partes do robô para ver se ele parava de funcionar. Ele apagou as partes mais importantes do vídeo (a bola, os pinos).

• Resultado: O robô continuou dizendo "Boliche" sem se importar!

Isso mostra que o robô é resiliente. Ele não depende de uma única parte. Se você tirar um "Detetive", outro assume. Se você tirar um "Arquiteto", outro continua a obra. Isso é ótimo para o robô funcionar bem, mas péssimo para a segurança.

Se um dia quisermos impedir o robô de fazer algo errado, não basta apagar uma peça. Como o conhecimento está espalhado e escondido em várias camadas, é muito difícil "consertar" ou controlar o robô apenas olhando para o resultado final.

Resumo em uma frase

Este artigo nos ensina que os robôs de vídeo são como orquestras complexas: mesmo que a música final pareça a mesma, há uma seção inteira de músicos (os Arquitetos/MLPs) trabalhando em segredo para decidir se a música é uma vitória ou uma derrota, e eles são tão redundantes que é quase impossível desligá-los sem desmontar toda a orquestra.

A lição final: Para confiar em uma Inteligência Artificial, não basta olhar para o que ela diz. Precisamos olhar para como ela pensa, porque ela pode estar escondendo "conhecimentos secretos" que não aparecem na resposta final.

Resumo técnico

1. Problema e Motivação

O artigo aborda o desafio crítico da confiabilidade e interpretabilidade em modelos de IA de vídeo, especificamente os Vision Transformers para Vídeo (ViViT). Embora esses modelos alcancem alta precisão em tarefas de classificação, eles operam como "caixas pretas", sem revelar seu processo de raciocínio interno.

• O Desafio: Modelos podem classificar corretamente uma ação (ex: "boliche"), mas esconderem representações semânticas internas complexas sobre o resultado dessa ação (sucesso vs. falha) que não são refletidas na saída final.
• Objetivo: Utilizar Interpretabilidade Mecanística para "reverse-enginear" (engenharia reversa) os circuitos internos de um modelo ViViT pré-treinado, identificando como ele processa e representa semanticamente nuances de resultados (como um "strike" vs. uma "gutter" no boliche), mesmo quando a classificação final é idêntica.

2. Metodologia

O estudo foi conduzido em um modelo Video Vision Transformer (ViViT) de 12 camadas (google/vivit-b-16x2-kinetics400), pré-treinado no dataset Kinetics-400.

• Dataset Contraste: Foram utilizados pares de vídeos contrastantes de 10 segundos da classe "boliche":
  • Positivo: "Strike" (bola acerta os pinos).
  • Negativo: "Gutter" (bola cai no canal).
  • Ambos são classificados corretamente como "boliche", mas possuem representações internas distintas.
• Análise Observacional:
  • Atribuição Direta de Logits (DLA): Para identificar quais camadas contribuem mais para o logit final.
  • Visualização de Atenção: Mapeamento de heatmaps nos tokens [CLS] para entender onde o modelo foca (ex: interação bola-pino vs. canal).
  • Probes Lineares: Tentativa inicial de classificar as ativações internas para distinguir os resultados.
• Análise Causal (Intervenção):
  • Análise de Delta ($\Delta$): Cálculo da diferença de ativação ($\Delta = act_{strike} - act_{gutter}$) em cada camada para medir a força do sinal de "Sucesso vs. Falha".
  • Ablação de Componentes: Zerar os top 10% dos tokens mais contributivos para testar a robustez do modelo.
  • Patching de Ativação: Técnica causal onde as ativações de camadas específicas (Atenção ou MLP) do vídeo "Strike" são copiadas para o vídeo "Gutter" para medir a recuperação do sinal de resultado.

3. Contribuições Principais

O artigo oferece três contribuições fundamentais:

1. Evidência de Representação Oculta: Demonstra que o ViViT representa semanticamente resultados de ações (sucesso/falha) de forma distinta em suas camadas internas, mesmo quando a saída final é a mesma.
2. Metodologia Híbrida: Combina análise de delta em pares contrastantes para localizar o sinal com activation patching para determinar o papel funcional dos componentes (Atenção vs. MLP).
3. Descoberta do Circuito Computacional: Reverse-engineering do mecanismo central, provando causalmente que os blocos MLP atuam como os principais "compositores de conceitos", enquanto as Atenções atuam como "coletores de evidência".

4. Resultados Chave

• Amplificação do Sinal (Delta Analysis):
  • A análise de probes lineares mostrou 100% de precisão desde a camada 0, mas isso foi considerado um artefato superficial (diferenças de textura/fundo).
  • A análise de Delta revelou um "cascata de amplificação" clara: a diferença semântica entre "sucesso" e "falha" começa a crescer significativamente a partir da camada 5, atingindo seu pico nas camadas finais (5 a 11). Isso indica que a representação abstrata do resultado é construída progressivamente.
• Resiliência à Ablação:
  • A ablação agressiva dos tokens mais importantes (top 10%) teve efeito negligenciável na classificação final. Isso prova que o circuito de classificação é distribuído e robusto, e que o sinal de "resultado" é um mecanismo oculto independente da tarefa explícita de classificação.
• Divisão de Trabalho (Atenção vs. MLP):
  • Atenção (Gathers): Ao fazer patching dos blocos de Atenção, recuperou-se entre 37% e 54% do sinal. Sua função é coletar e mover evidências espácio-temporais relevantes para o residual stream.
  • MLP (Composes): Ao fazer patching dos blocos MLP, recuperou-se entre 42% e 60% do sinal (especialmente nas camadas 4-9). Os MLPs são os principais impulsionadores da representação do conceito de "sucesso".
  • Conclusão do Circuito: Nenhum componente único recupera 100% do sinal, confirmando que o circuito é distribuído e redundante. O modelo constrói o resultado cumulativamente.

5. Significado e Impacto

• Conhecimento Oculto (Hidden Knowledge): O estudo prova que modelos treinados para tarefas simples (classificação) podem desenvolver representações internas sofisticadas e ocultas sobre nuances de resultados (sucesso/falha) que vão além do que é exigido pela tarefa.
• Segurança e Confiabilidade: A existência de circuitos redundantes e distribuídos para conceitos complexos significa que intervenções de segurança simples (como remover um único "neurônio" ou cabeça de atenção "harmful") provavelmente falharão. O sistema é resiliente a falhas pontuais.
• Necessidade de Supervisão Mecanística: Para garantir IA confiável, é necessário ir além da análise de saída e monitorar os estados internos e circuitos causais. A interpretação mecânica é essencial para detectar "cognição oculta" que pode levar a comportamentos não alinhados em cenários de alto risco.

Em resumo, o paper estabelece um padrão causal de "Atenção Coleta, MLPs Compõem" para o processamento de resultados de ações humanas em vídeos, desafiando a visão de que modelos de classificação são simples e transparentes.