🔬 applied physics

Adaptive inference and function vectors in deep transformers

Este artigo introduz uma teoria de campo médio de transformers profundos como sistemas de inferência distribuídos que utilizam "vetores de função" internos para inferir hierarquicamente variáveis de contexto latentes, demonstrando que blocos feedforward e a profundidade permitem uma classe mais rica de algoritmos de aprendizado em contexto adaptativos do que o anteriormente compreendido.

Autores originais: Ravin Raj, Gautam Reddy

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ravin Raj, Gautam Reddy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um mistério, mas tem apenas algumas pistas dispersas (o "contexto") e uma pergunta específica para responder (a "consulta"). Você precisa descobrir a regra oculta que conecta todas as pistas à resposta.

Este artigo propõe uma nova maneira de entender como os Transformers (os cérebros de IA por trás de ferramentas como chatbots) resolvem esses mistérios. Em vez de apenas olhar para a matemática, os autores tratam o Transformer como uma equipe de detetives trabalhando juntos para resolver um caso.

Aqui está a decomposição da teoria deles usando analogias simples:

1. A Equipe de Detetives (Os Tokens)

Imagine uma sala cheia de detetives (estes são os "tokens" ou pedaços de dados). Todos eles sabem um pouco sobre o caso, mas nenhum detetive sozinho tem a visão completa. O objetivo deles é descobrir a "regra oculta" (chamada de contexto latente) que explica tudo.

Em uma IA padrão, esses detetives poderiam apenas gritar seus pensamentos todos de uma vez. Mas este artigo sugere que os Transformers profundos funcionam como uma corrida de revezamento ou uma investigação de múltiplas etapas.

2. O "Vetor de Função" (O Caderno Compartilhado)

A ideia central é algo chamado Vetor de Função. Pense nisso como um caderno compartilhado que é passado de mão em mão pela sala.

Rodada 1: Cada detetive olha para sua pista e escreve um breve resumo no caderno.
Rodada 2: Eles leem o caderno, percebem que esqueceram algo e adicionam uma nota nova, mais refinada.
Rodada 3: Eles leem o caderno atualizado novamente e adicionam ainda mais detalhes.

Ao final do processo, este caderno (o Vetor de Função) contém um resumo comprimido e perfeito de tudo o que a equipe aprendeu sobre a regra oculta. Quando o último detetive (a "consulta") pede a resposta, ele apenas lê este caderno.

3. Os Dois Tipos de Trabalhadores (MLP vs. Atenção)

O artigo explica que o Transformer possui dois tipos de trabalhadores que se alternam:

O Pensador Local (MLP): Este é o detetive individual que olha para sua própria pista e para o caderno atual. Ele decide: "Com base no que eu sei e no que está no caderno, qual é a coisa nova mais importante que devo adicionar?" Ele age como um roteador, escolhendo qual informação vale a pena compartilhar.
O Misturador de Grupo (Atenção): Este é a pessoa que pega as novas notas de todos e as mistura em um único resumo atualizado para a próxima rodada.

4. A Grande Descoberta: Por que a "Profundidade" Importa

Os autores testaram dois cenários para ver se ter muitas camadas (uma equipe "profunda") é melhor do que ter apenas uma grande camada.

Cenário A: A Colina Suave (Prior Gaussiano)
Imagine que a regra oculta está em uma colina suave e plana. Você pode encontrar o topo apenas olhando para ela de um ângulo.

Resultado: Não importa se você tem uma equipe de 10 pessoas passando um caderno de mão em mão ou uma única pessoa superinteligente fazendo tudo de uma vez. Eles obtêm o mesmo resultado. A "profundidade" não ajuda aqui.

Cenário B: O Labirinto (Prior de Árvore)
Agora, imagine que a regra oculta está dentro de um labirinto complexo com muitas curvas (uma estrutura de "árvore"). Para encontrar a saída, você tem que fazer uma série de escolhas: Esquerda ou Direita? Depois, Cima ou Baixo?

A Equipe "Rasa" (Não Adaptativa): Esta equipe tenta adivinhar todo o caminho de uma só vez. Eles podem até acertar as primeiras curvas, mas se perdem rapidamente porque não conseguem ajustar seu plano com base em novas informações.
A Equipe "Profunda" (Adaptativa): Esta equipe se move passo a passo.
- Passo 1: Eles verificam a primeira interseção.
- Passo 2: Com base nesse resultado, eles decidem qual caminho verificar a seguir.
- Passo 3: Eles se ajustam novamente.
- Resultado: Como eles conseguem adaptar sua estratégia a cada etapa (usando o Vetor de Função para lembrar onde estão), eles navegam pelo labirinto muito melhor do que a equipe rasa.

5. A Prova: O Experimento de "Key-Patching"

Para provar isso, os pesquisadores fizeram uma "cirurgia" na IA. Eles pegaram as "chaves" (as notas de tomada de decisão) de um detetive que resolveu um labirinto diferente e as forçaram para dentro do caderno do detetive atual.

O que aconteceu? Se eles trocaram as notas no início do processo, o detetive ficou confuso e falhou. Se trocaram as notas tarde, não fez tanta diferença.
Por quê? Isso provou que a IA não estava apenas memorizando uma resposta estática. Ela estava construindo ativamente uma estratégia camada por camada, exatamente como a teoria previa.

A Conclusão

Este artigo argumenta que os Transformers profundos não são apenas combinadores de padrões sofisticados. Eles são máquinas de inferência adaptativa.

Quando o problema é simples, uma abordagem rasa funciona bem. Mas quando o problema é complexo e hierárquico (como uma árvore com muitos ramos), o Transformer usa sua profundidade e suas notas internas (Vetores de Função) para agir como um detetive inteligente: ele reúne pistas, atualiza sua teoria e decide o que procurar a seguir, tudo dentro de uma única passagem de leitura dos dados. Isso permite que ele resolva enigmas complexos que modelos mais simples e "rasos" não conseguem resolver.

Enunciado do Problema
Os Transformers emergiram como um substrato de propósito geral para aprender correlações complexas em diversos domínios, contudo, seus mecanismos internos para o aprendizado em contexto (ICL — in-context learning) permanecem misteriosos. Embora o trabalho empírico tenha identificado dois motivos primários para o ICL — circuitos de atenção que implementam algoritmos específicos (ex: cópia, gradiente descendente) e a formação de "vetores de função" (representações internas da tarefa) — a compreensão teórica deste último permanece limitada. Especificamente, não está claro como os transformers profundos utilizam vetores de função para realizar inferência, e quais papéis computacionais específicos as camadas de profundidade e os blocos feedforward (MLP) desempenham nesse processo. As teorias existentes frequentemente focam em circuitos baseados em atenção, deixando subexplorados os mecanismos habilitados pelas interações multi-camadas entre atenção e MLPs.

Metodologia
Os autores propõem um framework teórico que modela um transformer profundo como um sistema de campo médio (mean-field) interagente que implementa inferência Bayesiana distribuída. O modelo está sujeito a restrições arquiteturais de comunicação (dimensão do canal $d$ ), localidade e profundidade ( $L$ ).

Modelo Teórico: O framework postula que um transformer processa um conjunto de tokens acoplados por uma variável de contexto latente $\theta$ . A inferência é mediada por "vetores de função" ( $\Phi_\ell$ ), que atuam como variáveis de estado comprimidas.
- Em cada camada $\ell$ , uma não-linearidade local (MLP) processa um token e o estado atual $\Phi_\ell$ para produzir um embedding $\lambda_{\ell+1}$ .
- Uma operação do tipo atenção agrupa esses embeddings através dos tokens para formar uma nova estatística $\phi_{\ell+1}$ .
- O estado é atualizado via soma direta: $\Phi_{\ell+1} = \Phi_\ell \oplus \phi_{\ell+1}$ .
- Hipotetiza-se que os blocos MLP atuem como "roteadores" (escolhendo qual informação transmitir) e decodificadores, enquanto a atenção agrupa informações.
Estratégia de Otimização: Os autores enquadram a seleção de embeddings como um problema de programação dinâmica. A estratégia ótima na camada $\ell$ minimiza a perda esperada na camada $L$ , tratando efetivamente a escolha do embedding como uma estratégia de design experimental para inferência adaptativa.
Casos Analíticos: A teoria é analisada sob duas distribuições a priori para a variável latente $\theta$ :
- Prior Gaussiana: Onde a variável latente segue uma distribuição normal padrão.
- Prior de Árvore: Uma estrutura de prior hierárquica onde $\theta$ é construído com base em um caminho através de uma árvore binária balanceada. Esta estrutura testa a vantagem da profundidade na resolução de variáveis latentes em escalas cada vez mais finas.
Validação Empírica: As previsões são testadas usando uma arquitetura de transformer de atenção linear restrita com três configurações:
- Modelo A: Um modelo profundo ( $L=M$ ) com dimensão de canal $d=1$ e blocos MLP em todas as camadas.
- Modelo B: Um modelo de camada única com dimensão de canal $M$ e MLPs idênticos.
- Modelo C: Um modelo de camada única com dimensão de canal $M$ e sem MLPs (apenas atenção linear).
- Perturbação Causal: Um experimento de "patching de chaves" (key-patching) é conduzido onde matrizes de chaves (keys) de um contexto "doador" são inseridas em um contexto "alvo" em camadas específicas para testar o mecanismo de roteamento.

Contribuições Principais

Teoria dos Vetores de Função: O artigo fornece uma teoria formal definindo vetores de função como representações de estado interno que comprimem a informação do contexto para predição. Demonstra que esses vetores permitem que o modelo infira variáveis de contexto latentes em escalas cada vez mais finas através das camadas.
Papel da Profundidade e MLPs: A teoria prevê que, para priors não-gaussianos e hierárquicos, a profundidade e os blocos MLP são essenciais para implementar estratégias de inferência adaptativas que superam abordagens não-adaptativas de camada única. Inversamente, para priors gaussianos, a profundidade não oferece vantagem sobre uma camada única com orçamento de comunicação total equivalente.
Mapeamento Mecanístico: O trabalho mapeia os componentes teóricos para a arquitetura transformer, atribuindo ao MLP o papel de um "roteador" que seleciona estatísticas para medir e ao mecanismo de atenção o papel de agrupar essas estatísticas.
Confirmação Experimental: Experimentos numéricos confirmam que transformers profundos com MLPs (Modelo A) podem aprender estratégias de inferência adaptativas em priors de árvore hierárquica, superando significativamente estratégias não-adaptativas de camada única otimizadas (Modelo B) e modelos de atenção linear (Modelo C).

Resultos

Prior Gaussiana: No caso de um prior gaussiano, o erro quadrático médio (MSE) é independente da realização específica do vetor de função e depende apenas da estratégia de medição. A teoria e os experimentos mostram que um modelo profundo (Modelo A) não performa melhor do que um modelo de camada única com capacidade de canal equivalente (Modelo B).
Prior de Árvore: Para o prior de árvore hierárquica, a teoria prevê que uma estratégia adaptativa (medindo uma coordenada de cada vez baseada nos resultados anteriores) resulta em um MSE que escala exponencialmente com a profundidade ( $\alpha^M$ $α^{M}$ ), enquanto estratégias não-adaptativas escalam como uma potência de $M$ $M$ .
- Experimentos mostram que o Modelo A alcança um MSE significativamente menor que o Modelo B, confirmando que o modelo aprende uma estratégia de inferência adaptativa.
- O Modelo C (sem MLPs) performa de forma similar à linha de base teórica não-adaptativa, confirmando a necessidade de MLPs para o mecanismo de roteamento adaptativo.
Perturbação Causal: Experimentos de key-patching revelam que inserir chaves de um contexto doador (folha $\sigma'$ ) em um contexto alvo (folha $\sigma$ ) causa um grande aumento na perda se os caminhos divergem cedo na árvore e a intervenção ocorre cedo na rede. Isso confirma que o estado interno do modelo (vetor de função) evolui adaptativamente com base no caminho específico do contexto.

Significância
O artigo afirma reconciliar duas perspectivas sobre o aprendizado em contexto: a visão do ICL como inferência Bayesiana sobre uma variável latente e a visão mecanística do ICL como execução algorítmica (ex: gradiente descendente). Ao mostrar que transformers profundos podem implementar a inferência Bayesiana como um procedimento distribuído, adaptativo e por camadas mediado por vetores de função, os autores demonstram que a profundidade e os blocos MLP habilitam uma classe de algoritmos de ICL mais rica do que a descrita anteriormente (como o gradiente descendente pré-condicionado). O trabalho coloca os vetores de função dentro de um framework de nível de circuito, sugerindo que a organização de modelos de bilhões de parâmetros favorece esta estrutura porque permite uma inferência eficiente e adaptativa sob restrições de comunicação. Os autores observam que, embora sua teoria utilize agrupamento (pooling) linear, ela respeita a permutabilidade e pode ser suficiente para cenários onde a recuperação específica de token-para-token da atenção softmax não é o principal motor do ICL.