On the Expressive Power of Transformers

O Projeto do Cérebro: Por que Alguns Quebra-cabeças São Mais Difíceis do que Outros

Imagine que você está tentando ensinar um robô a ler. Você pode pensar que o robô só precisa olhar para as letras uma por uma, como uma pessoa escaneando uma página. Mas os robôs modernos superinteligentes, chamados Modelos de Linguagem de Grande Escala (LLMs), não funcionam assim. Em vez de ler da esquerda para a direita, eles usam um truque especial chamado "Transformer". Pense em um Transformer como uma equipe gigante de detetives trabalhando em uma sala. Quando eles veem uma frase, cada detetive pode instantaneamente gritar para todos os outros detetives para dizer: "Ei, estou olhando para esta palavra, e ela se conecta àquela palavra ali!". Isso permite que eles entendam o contexto e as relações em um flash, em vez de apenas memorizar uma lista de regras.

Mas aqui está a grande questão que tira o sono dos cientistas: quão inteligentes esses detetives são realmente? Eles podem resolver qualquer quebra-cabeça, ou existem alguns enigmas que sempre os deixarão perplexos? Para encontrar a resposta, os pesquisadores não apenas realizam testes; eles olham para o "cérebro" do robô através da lente da matemática da ciência da computação. Eles comparam o Transformer a uma família de máquinas matemáticas chamadas "circuitos". Imagine esses circuitos como fábricas com linhas de montagem. Algumas fábricas são muito simples, com linhas curtas e poucos trabalhadores (estes são chamados de AC0). Outras têm linhas mais longas e ferramentas mais poderosas que podem contar e comparar números enormes (estas são TC0). Ao descobrir a qual fábrica o Transformer mais se assemelha, os cientistas podem prever exatamente que tipos de problemas ele pode resolver e onde ele encontra um limite. Isso é importante porque, se soubermos os limites desses modelos, podemos parar de esperar que eles façam mágica e começar a construí-los para fazer aquilo de que são realmente bons.

A Grande Descoberta do Artigo: O Interruptor de Potência do Transformer

Em seu artigo, "On the Expressive Power of Transformers", os pesquisadores Phokion G. Kolaitis e Rik Sengupta agem como arquitetos inspecionando um novo edifício de alta tecnologia. Eles não estão apenas olhando para o quão bonito o edifício é; eles estão medindo sua capacidade de carga para ver exatamente o que ele pode suportar. Sua principal descoberta é que o poder do Transformer não é fixo; ele muda dramaticamente com base em alguns "botões" ou configurações, especificamente quanta precisão (quantas casas decimais ele pode usar para matemática) e se ele tem permissão para pensar em voz alta (uma técnica chamada Cadeia de Pensamento ou Chain-of-Thought).

Primeiro, vamos olhar para o Transformer sem nenhum tempo de pensamento extra. Os autores explicam que, se você der ao Transformer uma configuração de atenção simples e "rígida" (onde ele escolhe apenas uma palavra para focar) ou se você limitar sua matemática a uma precisão muito baixa (como usar apenas alguns bits de informação), ele é surpreendentemente fraco. De fato, sob essas condições, o Transformer é matematicamente equivalente à fábrica de circuitos mais simples, AC0. Isso significa que ele pode lidar com lógica básica, como verificar se uma frase tem um número par de palavras, mas tem dificuldade com tarefas que exigem contagem ou comparação de números grandes. É como um detetive que consegue identificar um chapéu vermelho, mas não consegue contar quantos chapéus vermelhos há na sala.

No entanto, a história fica muito mais interessante quando você aumenta a precisão. Se o Transformer for permitido usar matemática mais precisa (especificamente, um número de bits que cresce com o comprimento do texto, como $\Theta(\log n)$), ele sobe de nível. Ele se torna tão poderoso quanto a fábrica de circuitos TC0. Este é um salto significativo! Agora, o Transformer pode lidar com questões de "maioria" e tarefas de contagem mais complexas. É como dar uma calculadora ao detetive; de repente, eles podem resolver enigmas que eram impossíveis antes. Mas mesmo com esse upgrade, o artigo sugere que ainda existe um teto. Sem ajuda extra, esses modelos provavelmente estão presos no reino TC0 e não podem resolver facilmente problemas que exigem um raciocínio lógico profundo e passo a passo, encontrado em classes de computação mais complexas como PTIME (tempo polinomial).

O verdadeiro divisor de águas, de acordo com o artigo, é a Cadeia de Pensamento (CoT). Imagine que o Transformer não é mais apenas um detetive olhando para uma cena de crime; agora, ele tem permissão para escrever um diário de seus pensamentos antes de dar a resposta final. Ele pode gerar "tokens" intermediários (pequenas notas) que ele alimenta de volta em si mesmo para ajudar a resolver o problema. Os autores mostram que essa mudança simples quebra os limites anteriores.

• Se o Transformer tiver permissão para escrever um diário curto (proporcional ao comprimento do texto, ou $O(n)$), ele pode resolver problemas que levam tempo quadrático (como $n^2$).
• Se ele puder escrever um diário muito longo (proporcional a um polinômio do comprimento do texto, ou $poly(n)$), ele se torna poderoso o suficiente para simular qualquer algoritmo de computador padrão, atingindo a classe PTIME.
• E se ele tiver espaço de pensamento ilimitado e precisão, ele pode simular uma Máquina de Turing, que é a definição teórica de um computador universal capaz de resolver qualquer problema computável.

O artigo é muito claro sobre o que isso significa: o Transformer não é inerentemente "todo-poderoso" ou "inútil". Sua capacidade de resolver problemas difíceis depende inteiramente de quanto "papel de rascunho" (Cadeia de Pensamento) e quanta "precisão matemática" você lhe dá. Sem esses recursos, ele é limitado a uma lógica simples e superficial. Com eles, ele pode subir a escada da complexidade até simular um computador completo.

Os autores também apontam algumas limitações específicas. Eles argumentam que os modelos de atenção "rígida" (onde o robô escolhe apenas uma palavra) são estritamente mais fracos que os modelos de atenção "suave" (onde ele pondera muitas palavras) e não conseguem sequer alcançar todo o poder da classe de circuito mais simples em alguns casos. Além disso, eles enfatizam que, embora o Transformer possa teoricamente simular uma Máquina de Turing com uma Cadeia de Pensamento suficiente, este é um limite teórico. No mundo real, não temos memória infinita ou tempo infinito para gerar pensamentos intermediários infinitos, então os modelos do mundo real sempre terão um teto prático inferior ao máximo teórico.

Em resumo, Kolaitis e Sengupta mapearam a "rede elétrica de potência" dos Transformers. Eles nos mostram que esses modelos não são caixas pretas mágicas; eles são máquinas limitadas por recursos. Se você quiser que eles resolvam um quebra-cabeça difícil, você não pode apenas pedir para eles "tentarem mais arduamente"; você tem que dar a eles as ferramentas certas: mais precisão, mais camadas e, o mais importante, a capacidade de pensar passo a passo. O artigo conclui que entender esses limites é crucial. Isso nos ajuda a parar de esperar que esses modelos façam o impossível e começar a projetá-los para serem as melhores versões possíveis do que eles são: reconhecedores de padrões incrivelmente poderosos, mas, em última análise, limitados.