🤖 aprendizado de máquina

Putting Transformer Theories to the Test

Este artigo avalia sete teorias formais de capacidades de transformers ao mapear suas previsões contra um conjunto de tarefas e resultados experimentais, constatando que nenhuma teoria única explica plenamente os comportamentos observados e destacando a necessidade de uma nova estrutura que incorpore atenção suave, recuperação dinâmica dependente de conteúdo e aprendibilidade.

Autores originais: Awni Altabaa, Tobias Schnabel, Kiran Tomlinson

Publicado 2026-10-26✓ Author reviewed ⓘ

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Awni Altabaa, Tobias Schnabel, Kiran Tomlinson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, um tipo específico de programa de computador chamado transformer tornou-se o motor por trás dos sistemas de linguagem mais avançados, como os chatbots de IA conhecidos pelo público, como o ChatGPT. Esses programas não pensam como os humanos, mas são notavelmente bons em detectar padrões em texto, prever a próxima palavra em uma frase e resolver quebra-cabeças complexos. Como funcionam tão bem na prática, cientistas passaram anos tentando construir mapas matemáticos do que exatamente esses programas podem e não podem fazer. Esses mapas, ou teorias, são como diferentes conjuntos de plantas baixas. Algumas plantas sugerem que os programas são limitados a tarefas simples, enquanto outras afirmam que eles podem lidar com quase tudo. O problema é que essas plantas frequentemente se contradizem. Uma pode dizer que um trabalho específico é difícil demais para a máquina, enquanto outra insiste que ele é fácil. Sem uma maneira de testar esses mapas concorrentes contra a realidade, é difícil saber qual deles está realmente correto ou como construir máquinas melhores no futuro.

Uma equipe de pesquisadores partiu para resolver esse debate tratando essas teorias como hipóteses científicas que devem ser testadas no mundo real. Eles reuniram as sete teorias mais proeminentes atualmente usadas para descrever as capacidades dos transformers e as submeteram ao teste contra uma ampla variedade de tarefas específicas. Essas tarefas variavam desde problemas simples de contagem e quebra-cabeças lógicos até o rastreamento da estrutura de frases e a navegação através de redes de conexões. Os pesquisadores não apenas olharam para a matemática no papel; eles construíram versões pequenas e personalizadas desses programas e os treinaram do zero para ver se eles conseguiam resolver os problemas. Eles também testaram modelos de linguagem massivos e pré-treinados que já estão em uso hoje para ver se as regras mudavam quando os programas se tornavam muito maiores e mais complexos.

Os resultados revelaram uma verdade surpreendente: nenhuma teoria única poderia explicar o quadro completo. Quando os pesquisadores compararam as previsões das sete teorias com o desempenho real dos programas, descobriram que as teorias frequentemente discordavam da realidade e entre si. Por exemplo, várias teorias previam que um programa teria dificuldade em contar quantas vezes um símbolo específico aparecia em uma longa lista de texto. No laboratório, no entanto, os programas aprenderam essa tarefa facilmente e puderam até aplicar o que aprenderam a listas muito mais longas do que aquelas para as quais foram treinados. Inversamente, outras teorias previam que um programa seria capaz de resolver um problema aritmético complexo, mas os programas consistentemente falharam em aprendê-lo, mesmo quando recebiam muitos dados de treinamento. Esse descompasso mostrou que as teorias estavam perdendo detalhes cruciais sobre como os programas realmente funcionam.

O estudo identificou duas razões principais pelas quais as teorias falharam em corresponder à realidade. Primeiro, muitas das teorias assumiam que os programas tomavam decisões focando em apenas uma peça de informação por vez, como um holofote escolhendo um único termo. Na realidade, os programas usam um método mais suave e flexível que permite misturar informações de muitas partes diferentes do texto ao mesmo tempo. Essa flexibilidade permite que eles resolvam tarefas que as teorias rígidas diziam ser impossíveis. Segundo, algumas teorias assumiam que os programas poderiam realizar cálculos ilimitados em cada etapa, o que os fazia parecer mais poderosos do que realmente são. Essas teorias previam que os programas poderiam resolver problemas de grafos difíceis, mas os experimentos mostraram que os programas travavam, incapazes de aprender as etapas necessárias. Os pesquisadores descobriram que a capacidade de um programa de aprender uma tarefa dependia menos de seu poder bruto e mais de como ele era ensinado e de como sua memória interna era organizada.

Uma das descobertas mais marcantes foi que o tamanho e o histórico de treinamento do programa importavam imensamente. Os programas pequenos construídos especificamente para os experimentos comportaram-se de forma muito diferente dos modelos gigantes e pré-treinados usados em aplicações cotidianas. Às vezes, os modelos pequenos aprendiam uma tarefa que os modelos grandes falhavam em resolver, e outras vezes os modelos grandes tinham sucesso onde os pequenos falhavam. Isso sugere que as capacidades desses sistemas não são apenas um resultado de seu design, mas também das vastas quantidades de dados que recebem e dos métodos específicos usados para treiná-los. As teorias que focavam apenas na arquitetura do programa, ignorando os dados e o processo de aprendizagem, não podiam prever esses resultados.

Em última análise, o artigo conclui que, para compreender verdadeiramente essas ferramentas poderosas, os cientistas precisam de um novo tipo de teoria. Este novo framework deve considerar a maneira flexível como os programas misturam informações, os limites de seus cálculos locais e o papel crucial de como eles aprendem. Deve também explicar por que alguns programas generalizam bem para novas situações enquanto outros não, uma diferença frequentemente impulsionada pela forma específica como são ensinados a lembrar a ordem das palavras. Ao mostrar que nenhum mapa existente cobre todo o território, os pesquisadores forneceram um caminho claro a seguir. Eles criaram um novo conjunto de parâmetros de referência e uma compreensão mais clara do que realmente está acontecendo dentro dessas máquinas, oferecendo uma base sólida para a construção da próxima geração de inteligência artificial que seja tanto poderosa quanto previsível.

Resumo Técnico: Colocando as Teorias dos Transformers à Prova

Declaração do Problema

Desde a introdução da arquitetura transformer, inúmeras teorias formais emergiram para caracterizar suas capacidades e limitações. Essas teorias — incluindo Star-free, AC0, TC0, C-RASP, MPC, BAPO e Sensitivity — empregam abstrações distintas em relação ao fluxo de informação, mecanismos de atenção e limites computacionais. Consequentemente, elas frequentemente geram previsões conflitantes sobre quais tarefas os transformers podem resolver (por exemplo, prever Majority ou Parity como "Difícil" ou "Fácil").

O problema central abordado neste trabalho é a falta de uma compreensão unificada de qual estrutura teórica melhor se alinha com a realidade empírica. Permanece incerto quais abstrações são necessárias para explicar os sucessos e falhas dos transformers na prática, particularmente no que diz respeito ao aprendizado dentro da distribuição (in-distribution), generalização de comprimento e o desempenho de grandes modelos de linguagem pré-treinados (LLMs). Este artigo busca preencher a lacuna entre a teoria dos transformers e a prática, comparando sistematicamente as previsões de sete principais estruturas teóricas contra experimentos empíricos controlados.

Metodologia

Os autores construíram um framework de avaliação abrangente consistindo em três componentes principais:

Suíte de Tarefas: Uma coleção diversificada de tarefas cobrindo várias estruturas computacionais foi curada para visar pontos de discordância teórica. A suíte inclui:
- Funções Booleanas: All, Any, Majority, Parity.
- Tarefas de Recuperação (Retrieval): Index, Index-All/Any, Index-Parity e k-Hop Induction (compondo buscas dependentes de conteúdo).
- Funções Esparsas: Sparse-All/Any, Sparse-Parity.
- Aritmética e Grafos: BinaryAdd, Edge Existence, Reachability Direcionada/Não-Direcionada.
- Estruturas Sintáticas: Linguagens Dyck (profundidade limitada e ilimitada).
Mapeamento Teórico: Os autores mapearam cada tarefa contra as sete teorias (Star-free, AC0, TC0, C-RASP, MPC, BAPO, Sensitivity). Onde a literatura existente carecia de uma previsão para um par teoria-tarefa específico, os autores derivaram novos resultados ou construções teóricas para completar a matriz de previsão. Isso envolveu a prova de limites inferiores (lower bounds), resultados de impossibilidade ou construções explícitas (por exemplo, provar que o C-RASP requer tamanho exponencial para certas tarefas de recuperação de consulta-chave).
Avaliação Empírica: Três linhas experimentais distintas foram conduzidas para testar as previsões teóricas:
- Aprendizado In-Distribution: Treinamento de transformers causais pequenos e específicos para a tarefa (4 camadas, largura 256) em tamanhos de entrada ( $n$ ) crescentes para medir a complexidade de amostra e se o modelo consegue aprender a tarefa.
- Generalização de Comprimento: Treinamento de modelos em entradas pequenas ( $n \le 32$ ) e avaliação de sua habilidade de generalizar para entradas muito maiores ( $n$ até 256). Isso foi testado em 27 configurações arquitetônicas (variando tamanhos de modelo e codificações posicionais como RoPE, NoPE e esquemas absolutos/relativos).
- Desempenho de LLMs Pré-treinados: Avaliação de cinco modelos de fronteira pré-treinados nas mesmas tarefas sem ajuste fino (fine-tuning) específico para a tarefa, usando prompts de linguagem natural com exemplos de poucos disparos (few-shot).

Principais Contribuições

1. Análise Teórica e Novos Resultados

Os autores forneceram novos resultados teóricos para preencher lacunas na literatura existente, especificamente:

Limitações do C-RASP: Provou que o C-RASP (que modela a média uniforme) requer um tamanho de programa exponencial para resolver tarefas de recuperação de consulta-chave que os transformers de atenção softmax resolvem eficientemente com largura linear. Isso destaca o custo de carecer de uma atenção dinâmica e dependente de conteúdo.
k-Hop Induction: Demonstrou que o C-RASP não consegue expressar k-Hop Induction (mesmo para $k=1$ ), apesar de as cabeças de indução serem centrais para o aprendizado em contexto (in-context learning) na prática.
Dureza de BAPO: Estabeleceu que linguagens Dyck ilimitadas e BinaryAdd são BAPO-hard.
Separação Exponencial: Mostrou uma separação de largura exponencial entre C-RASP e transformers de atenção softmax para tarefas de recuperação.

2. Matriz de Validação Empírica

O estudo gerou uma matriz abrangente comparando as previsões teóricas de "Fácil/Difícil" contra os resultados empíricos (In-Distribution, Generalização de Comprimento e desempenho de LLM). Esta matriz revelou que nenhuma teoria única prevê consistentemente o comportamento observado em todas as tarefas.

3. Identificação de Modos de Falha

Os experimentos identificaram razões específicas pelas quais as previsções teóricas falham:

Atenção Hard vs. Soft: Teorias que assumem atenção hard (Star-free, AC0, BAPO) preveem incorretamente que tarefas que exigem agregação global (como Majority) sejam difíceis. Empiricamente, os transformers com atenção soft resolvem essas tarefas de forma robusta.
Recuperação Dependente de Conteúdo: Teorias que assumem média uniforme (C-RASP) preveem incorretamente que tarefas de recuperação (como Index e k-Hop Induction) sejam difíceis. Empiricamente, os transformers com atenção dinâmica resolvem estas.
Limites Superiores Frouxos (Loose Upper Bounds): Teorias que fornecem limites superiores frouxos (TC0, MPC) frequentemente preveem tarefas como fáceis que os transformers falham em aprender na prática (ex: BinaryAdd, Parity). Isso sugere que essas teorias superestimam a aprendibilidade prática ao ignorar barreiras de otimização ou restrições de computação local.
Aprendibilidade vs. Expressividade: A falha em aprender tarefas como Parity é atribuída a barreiras de otimização (paisagens de perda agudas) em vez de limites de expressividade, uma nuance capturada apenas pela teoria da Sensitivity.

Resultados

Discordância Entre Teorias

As sete teorias fazem previsões conflitantes na maioria das tarefas. Por exemplo:

Majority: Prevista como Difícil por Star-free, AC0 e BAPO; Fácil por TC0, C-RASP, MPC e Sensitivity. Transformers aprendem isso com sucesso, apoiando o último grupo.
Parity: Prevista como Difícil por Star-free, AC0, C-RASP e Sensitivity; Fácil por TC0, MPC e BAPO. Transformers falham em aprender isso mesmo in-distribution, apoiando o primeiro grupo.
k-Hop Induction: Prevista como Difícil apenas por C-RASP; Fácil pelas outras. Transformers aprendem 1-hop induction, mas têm dificuldade com composições de 2-hop e 3-hop.

Achados Empíricos

Nenhuma Teoria Única é Suficiente: Nenhuma teoria explica o padrão completo de sucessos e falhas.
Previsões de "Difícil" são Mais Confiáveis: Quando uma teoria prevê que uma tarefa é "Difícil", ela tem maior probabilidade de estar correta empiricamente do que quando prevê que é "Fácil". Previsões "Fáceis" frequentemente dependem de construções manuais que os algoritmos de treinamento podem não descobrir.
Papel da Codificação Posicional: A generalização de comprimento é altamente sensível à codificação posicional. Nenhuma codificação única generaliza em todas as tarefas (ex: NoPE generaliza em Dyck-1 ilimitado, enquanto RoPE tem sucesso em 1-Hop Induction).
LLMs vs. Pequenos Transformers: LLMs pré-treinados comportam-se de forma diferente de pequenos transformers treinados do zero. LLMs frequentemente falham em tarefas como Majority e Index conforme o tamanho da entrada cresce, enquanto pequenos transformers têm sucesso. Por outro lado, LLMs têm sucesso em algumas tarefas onde pequenos transformers falham, sugerindo que dados, tokenização e receitas de treinamento impactam significativamente as capacidades além da arquitetura pura.

Significância e Alegações

O artigo alega que a prática teórica atual possui uma fraqueza: previsões "fáceis" são frequentemente baseadas em provas de existência (limites superiores construtivos) que não garantem a aprendibilidade, enquanto previsões "difíceis" às vezes identificam incorretamente a causa raiz da falha (ex: atribuindo a falha de Parity à expressividade em vez da otimização).

Os autores argumentam que uma teoria unificada de transformers deve capturar várias características específicas atualmente omitidas ou simplificadas demais nos frameworks existentes:

Atenção Soft e Dependente de Conteúdo: Modelos devem considerar a recuperação dinâmica, não apenas seleção hard ou média uniforme.
Computação Local Limitada: Teorias devem restringir a computação local para evitar a superestimação de capacidades (como visto em MPC/BAPO).
Aprendibilidade e Vieses Indutivos: Teorias devem explicar por que o treinamento encontra certas soluções e não outras, incorporando os efeitos das codificações posicionais e das paisagens de otimização.
Dinâmicas de Dados e Treinamento: Uma teoria de LLMs deve considerar a influência dos dados de pré-treinamento e das receitas de treinamento, não apenas a arquitetura estática.

Em última análise, o artigo fornece um ambiente de teste (a suíte de tarefas e a matriz de previsão) para guiar o desenvolvimento de teorias mais práticas que possam explicar a complexa interação entre expressividade, aprendibilidade e vieses indutivos em modelos transformer.