Resumo Técnico: A Aprendizagem em Contexto Opera como Aprendizagem em Subespaço de Conceitos

1. Formulação do Problema

A aprendizagem em contexto (ICL) permite que modelos de linguagem pré-treinados inferam novas tarefas a partir de poucos exemplos demonstrativos, sem atualizações de pesos. Embora explicações teóricas descrevam a ICL como implementação de regressão, inferência bayesiana ou descida de gradiente, esses modelos frequentemente tratam a tarefa inferida como um vetor não restrito em um espaço ambiente de alta dimensão. Essa perspectiva obscurece a potencial estrutura geométrica quando as demonstrações compartilham relações latentes, regras ou atributos semânticos.

A questão central abordada é: Quando tarefas compartilham uma estrutura conceitual de baixa dimensão, a ICL opera inferindo explicitamente esse conceito de baixa dimensão? Teorias de regressão existentes e análises de ativação não identificaram um objeto latente comum induzido por prompts de ICL estruturados que vincule a estrutura estatística da tarefa à geometria de ativação mecânica.

2. Metodologia

Marco Teórico: ICL em Subespaço de Conceitos

Os autores propõem uma visão de subespaço de conceitos da ICL. Neste modelo:

• Parametrização da Tarefa: Os parâmetros da tarefa $w$ são restritos a um subespaço de baixa dimensão abrangido por uma matriz ortonormal $U \in \mathbb{R}^{d \times r}$ (onde $r \ll d$), de modo que $w = U\beta$.
• Coordenadas: As entradas $x$ existem no espaço ambiente, mas a tarefa depende delas apenas através das coordenadas conceituais $z = U^\top x$. Direções ortogonais a $U$ são variáveis de incômodo.
• Análise Estatística: Os autores analisam proxies de ICL de ridge e mínimos quadrados. Eles provam que, sob suposições de covariância em bloco-diagonal ou quase em bloco-diagonal, a previsão decompõe-se exatamente em:
  1. Regressão de coordenadas conceituais: Estimação de $\beta$ no subespaço $r$-dimensional.
  2. Vazamento fora do subespaço: Um termo residual controlado pelo acoplamento entre subespaços.
• Resultado Teórico Chave: Os termos de erro de estimação predominantes e de sensibilidade a variáveis de incômodo escalam com a dimensão do conceito $r$, e não com a dimensão ambiente $d$. Isso implica que, se um transformador implementar inferência em subespaço de conceitos, a informação relevante para a tarefa deve concentrar-se em um subespaço de ativação de baixa dimensão e alinhado à tarefa.

Hipótese Mecânica e Intervenção

A teoria motiva uma hipótese mecânica falseável: Se um transformador aproxima a inferência em subespaço de conceitos, a informação relevante para a tarefa deve estar concentrada em um subespaço de ativação compacto e alinhado à tarefa.

Para testar isso, os autores empregam patching de ativação e troca de conceitos em grandes modelos de linguagem (Llama-3-8B e Qwen2.5-7B):

1. Estimação do Subespaço: Eles estimam o subespaço alinhado à tarefa $\hat{U}$ em camadas específicas do transformador realizando Decomposição em Valores Singulares (SVD) na covariância cruzada entre as ativações do fluxo residual e os vetores de supervisão alvo, através de múltiplas relações.
2. Experimentos de Patching:
   • Patching em Subespaço de Conceitos: Substituir apenas o componente projetado do fluxo residual em um prompt corrompido pelo componente correspondente de um prompt limpo.
   • Patching no Espaço Complementar: Substituir o complemento ortogonal.
   • Controles de Rank Correspondente: Patching de subespaços aleatórios ou entre tarefas de mesma dimensão.
3. Troca de Conceitos: Injetar o subespaço de conceitos de uma relação diferente (por exemplo, trocar "país $\to$ capital" por "país $\to$ idioma") para verificar se as previsões se redirecionam em direção à relação injetada.

3. Resultados Principais

Localização e Dimensionalidade

• Emergência por Camada: A informação da tarefa não está distribuída uniformemente. Os efeitos do patching permanecem próximos de zero nas camadas iniciais e emergem abruptamente nas camadas tardias (por exemplo, camada 30 para Llama-3-8B), sugerindo que um "gargalo conceitual causal" se forma após a integração contextual profunda.
• Concentração de Baixo Rank: Para o Llama-3-8B (fluxo residual de 4096 dimensões), um subespaço de 68–73 dimensões (aproximadamente 1,8% das dimensões) captura 98% da variância cruzada entre ativações e rótulos de tarefa. Para o Qwen2.5-7B, um subespaço de 45 dimensões (de 3584) é suficiente.

Eficácia Causal do Subespaço

• Recuperação do Comportamento de ICL: Patching apenas do subespaço de conceitos estimado em um prompt corrompido restaura 78,8% da lacuna de precisão entre as condições limpa e corrompida (Llama-3-8B).
• Ineficácia dos Controles:
  • Patching do subespaço complementar (as ~4023 dimensões restantes) restaura 0% da lacuna.
  • Controles de rank correspondente (subespaços aleatórios ou entre tarefas) mostram sucesso de substituição negligenciável (~2-3%), confirmando que o efeito é específico às direções aprendidas alinhadas à tarefa, e não meramente um artefato de baixo rank.
• Troca de Conceitos: A troca do subespaço de conceitos entre relações redireciona com sucesso as previsões em direção à relação injetada (por exemplo, 59% de sucesso de substituição), enquanto a troca do espaço complementar é ineficaz.

Robustez e Generalização

• Consistência entre Modelos: O padrão qualitativo mantém-se para o Qwen2.5-7B e uma tarefa controlada de regra interlingual (seleção do idioma de saída), onde um subespaço de 92 dimensões mediou a seleção da regra de idioma.
• Escalonamento Few-Shot: À medida que o número de demonstrações aumenta, a incerteza nas coordenadas conceituais estimadas contrai-se, e o subespaço captura uma fração crescente dos ganhos few-shot.
• Invariância de Formato: O subespaço aprendido agrupa representações por relação de tarefa, suprimindo variações de formato de prompt (simbólico vs. QA vs. verboso), indicando que captura a semântica da tarefa e não estatísticas superficiais.

4. Contribuições Principais

1. Formalização: O artigo formula a ICL com variação de tarefa compartilhada como estimação em um subespaço de conceitos intrínseco, em vez de regressão ambiente não restrita.
2. Decomposição Teórica: Fornece uma análise estatística rigorosa mostrando que, para proxies de ridge e mínimos quadrados, os termos de erro dominantes escalam com a dimensão do conceito $r$, enquanto a sensibilidade a variáveis de incômodo é governada pelo acoplamento entre subespaços.
3. Validação Mecânica: Traduz a hipótese estatística em um teste causal, demonstrando que um subespaço de ativação compacto e alinhado à tarefa carrega a maior parte do sinal causal recuperável para tarefas de ICL estruturadas.
4. Evidência Empírica: Através de extensos experimentos de patching e troca em múltiplos modelos e tarefas, valida que o comportamento de ICL é mediado por subespaços de baixa dimensão, distintos do espaço ambiente de alta dimensão.

5. Significado e Afirmações

O artigo afirma que subespaços de conceitos servem como mediadores compactos e alinhados à tarefa do comportamento de ICL recuperável em famílias de tarefas estruturadas.

• Escopo Moderado: Os autores afirmam explicitamente que esses resultados não implicam que o circuito completo de ICL seja de baixa dimensão, nem que um único subespaço explique todo o comportamento de prompting. O espaço complementar pode codificar informações auxiliares (por exemplo, calibração, desambiguação específica de entidade) que se tornam mais úteis com mais demonstrações.
• Ponte entre Teoria e Mecanismo: O trabalho faz a ponte entre contas estatísticas da ICL (regressão/inferência bayesiana) e análises de espaço de ativação causal (interpretabilidade mecânica). Sugere que o "vetor de tarefa" inferido pelo modelo não é um parâmetro de alta dimensão arbitrário, mas uma projeção sobre um gargalo geométrico específico e de baixa dimensão.
• Implicações: Este quadro oferece um método para diagnosticar se os modelos dependem de estruturas de tarefa estáveis ou de artefatos superficiais de prompt. Sugere que, para tarefas estruturadas, a inferência lógica central está concentrada em um pequeno conjunto de direções, tornando o raciocínio do modelo mais inspecionável e potencialmente direcionável via intervenções direcionadas.