🤖 machine learning

Length Generalization with Log-Depth Recurrent Units

O artigo apresenta o MLP-LDRU, uma unidade recorrente de profundidade logarítmica que aproxima a recorrência por meio de redução paralela para alcançar generalização de comprimento quase perfeita em tarefas de linguagem regular e desempenho competitivo em benchmarks mais amplos, abordando efetivamente os vieses posicionais dos modelos recorrentes e as restrições de profundidade dos transformers.

Autores originais: Charles Pert, Dalal Alrajeh, Alessandra Russo

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Charles Pert, Dalal Alrajeh, Alessandra Russo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A "Memória Curta" da IA

Imagine que você está ensinando uma criança a contar. Se você praticar apenas contar até 10, a criança pode ficar confusa quando for pedida para contar até 100. Ela não aprendeu a regra da contagem; apenas memorizou os primeiros dez números.

No mundo da Inteligência Artificial (redes neurais), isso é chamado de problema de Generalização de Comprimento.

RNNs (Escola Antiga): Pense nelas como uma corrida de revezamento onde o bastão é passado uma pessoa de cada vez. Se a corrida for longa, o primeiro corredor tem que esperar muito tempo para o bastão voltar. Eles ficam cansados (esquecem coisas) até o fim da corrida.
Transformers (Gigantes Modernos): Pense neles como um grupo de pessoas em pé em um círculo, todas gritando ao mesmo tempo. Elas podem ouvir todos imediatamente, mas se o círculo ficar enorme demais, o ruído se torna caótico, e elas lutam para entender o padrão se o tamanho do grupo mudar do que praticaram.

Ambas lutam quando solicitadas a lidar com sequências (como frases ou código) muito mais longas do que aquelas que viram durante o treinamento.

A Solução: A "Árvore Balanceada" (MLP-LDRU)

Os autores propõem um novo modelo chamado MLP-LDRU. Para entender como funciona, imagine que você tem uma pilha de 8 livros e quer encontrar o peso total de todos eles.

O Jeito Antigo (RNN): Você pega o Livro 1, depois adiciona o Livro 2, depois adiciona o Livro 3, e assim por diante, um por um. Isso leva muito tempo, e o primeiro livro é "esquecido" até você chegar ao fim.
O Jeito Novo (MLP-LDRU): Você emparelha os livros.
1. Emparelhe (Livro 1 + Livro 2) e (Livro 3 + Livro 4) e (Livro 5 + Livro 6) e (Livro 7 + Livro 8).
2. Agora você tem 4 pares. Emparelhe-os novamente: (Par 1 + Par 2) e (Par 3 + Par 4).
3. Agora você tem 2 grupos. Emparelhe-os uma última vez para obter a resposta final.

Isso é chamado de Redução de Profundidade Logarítmica. É como uma árvore balanceada. Não importa quantos livros você tenha, todos chegam à linha de chegada em aproximadamente a mesma quantidade de tempo. O primeiro livro não fica "cansado" porque não teve que esperar pelo último livro ser processado primeiro.

O Segredo: A "Cola Mágica"

O artigo introduz uma "cola" especial (um operador matemático) usada para combinar esses pares. Os autores projetaram essa cola para agir como matemática associativa.

Associatividade significa que a ordem do agrupamento não importa. $(A + B) + C$ é o mesmo que $A + (B + C)$ .
Os autores forçaram sua "cola" a se comportar dessa maneira. Ao ensinar à IA que "o agrupamento não importa", a IA aprende a regra subjacente da sequência em vez de apenas memorizar posições específicas.

Os Experimentos: O "Teste de Gramática"

Para testar isso, os autores não usaram linguagem real bagunçada (que é difícil de medir). Em vez disso, usaram Linguagens Regulares.

Analogia: Imagine um robô estrito que só aceita frases seguindo uma regra de gramática perfeita e simples (como "cada 'A' deve ser seguido por um 'B'").
Eles criaram 21 quebra-cabeças de gramática diferentes. Alguns eram fáceis (como verificar se um número é par), e alguns eram difíceis (como acompanhar parênteses aninhados, semelhante a equilibrar um talão de cheques).
Eles também inventaram um novo quebra-cabeça chamado Linguagens de Prefixo. Isso é como um jogo onde as primeiras palavras determinam todo o resultado, mas o resto da frase é apenas ruído. Testa se a IA consegue lembrar o início enquanto ignora o meio.

Os Resultados: A "Pontuação Perfeita"

Os resultados foram impressionantes:

O Campeão: O modelo MLP-LDRU obteve 100% de precisão em 18 de 21 quebra-cabeças, mesmo quando as frases de teste eram 10 a 12 vezes mais longas do que as frases de treinamento.
Vencendo os Gigantes: Ele superou Transformers padrão e RNNs mais antigas, que frequentemente falhavam completamente quando as frases ficavam muito longas.
O "Porquê": Os autores descobriram que o modelo falhou nos poucos quebra-cabeças restantes não porque a estrutura de "árvore" estava errada, mas porque os dados de treinamento não mostraram à IA tipos suficientes de combinações. É como praticar matemática apenas com números pares; quando você finalmente obtém um número ímpar, fica preso. O modelo precisava ver mais variedade nas "combinações" para dominar a regra.

Além da Gramática: O Teste de "Lista"

Eles também testaram o modelo em ListOps, uma tarefa envolvendo listas aninhadas (como uma receita dentro de uma receita dentro de uma receita).

Embora modelos especializados "estruturados em árvore" fossem ligeiramente melhores nisso, o MLP-LDRU ainda performou muito bem, batendo Transformers padrão e LSTMs.
Eles também o testaram em classificação de texto padrão (como classificar artigos de notícias), onde performou de forma competitiva, mostrando que essa ideia de "árvore balanceada" funciona mesmo fora de regras de gramática estritas.

A Conclusão

O artigo argumenta que, para fazer uma IA que possa lidar com sequências longas de forma confiável, não devemos apenas tornar o modelo maior. Em vez disso, devemos mudar como ele processa informações. Ao usar uma estrutura de árvore balanceada e forçar o modelo a aprender regras associativas (onde a ordem do agrupamento não importa), a IA pode generalizar para comprimentos que nunca viu antes, muito como uma criança que entende o conceito de contagem pode contar até um milhão, mesmo que tenha praticado apenas até 10.

Resumo Técnico: Generalização de Comprimento com Unidades Recorrentes de Profundidade Logarítmica

Declaração do Problema

A generalização para comprimentos de sequência fora da distribuição (OOD) permanece um desafio central na modelagem neural. Arquiteturas existentes exibem limitações distintas neste domínio:

Redes Neurais Recorrentes (RNNs): Embora ofereçam computação adaptativa ao comprimento, sofrem de viés posicional onde tokens iniciais passam por mais passos recorrentes do que os posteriores, levando a problemas de memória de longo alcance e dificuldade em modelar dependências sobre sequências estendidas.
Transformers: Estes modelos aplicam uma pilha fixa de camadas independente do comprimento da sequência. Embora permitam computação paralela, tendem a generalizar com menos confiabilidade para comprimentos OOD e são restringidos por profundidade computacional fixa.

O artigo postula que linguagens regulares fornecem um banco de testes rigoroso para avaliar a generalização de comprimento, pois permitem formulação matemática precisa e validação exata de correção em qualquer comprimento de sequência, conectando-se diretamente à teoria dos autômatos.

Metodologia: MLP-LDRU

Os autores propõem o MLP-LDRU (Unidade Recorrente de Profundidade Logarítmica), um tipo específico de operador binário projetado para aproximar a recorrência através de redução paralela. A hipótese central é que aprender operadores com um viés explícito para o comportamento associativo e de identidade pode melhorar a extrapolação de comprimento.

Arquitetura e Mecanismo

Redução de Profundidade Logarítmica: Diferentemente das RNNs padrão, que processam sequências sequencialmente (profundidade $O(n)$ ), o MLP-LDRU processa sequências usando uma estrutura de árvore binária balanceada. Dada uma sequência de comprimento $n$ , o modelo aplica um operador binário $\odot_\theta$ em paralelo a pares adjacentes por $\lceil \log_2 n \rceil$ passos. Isso resulta em uma profundidade computacional uniforme de $O(\log n)$ em todos os tokens, mitigando o viés posicional enquanto permite computação paralela.
O Operador ( $\odot_\theta$ ): O operador central é uma função baseada em MLP projetada para induzir comportamento aproximadamente associativo.
- Ele recebe dois embeddings de entrada $h_i, h_j$ e os concatena.
- Um MLP produz vetores de controle (gating) $g_i, g_j$ .
- Esses controles modulam as entradas via multiplicação elemento a elemento, seguida por projeções lineares aprendidas e vieses.
- A saída final é uma soma ponderada das entradas projetadas.
- Viés de Inicialização: O operador é inicializado de modo que as matrizes de projeção sejam matrizes identidade e os vieses sejam zero. Combinado com a estrutura de soma elemento a elemento, isso viés o operador para comportar-se como uma simples soma inicialmente, aproximando uma operação associativa.
Tratamento de Preenchimento (Padding): Se um comprimento de sequência for ímpar durante a redução, ele é preenchido com um embedding zero. O operador é projetado de modo que, se qualquer entrada for zero, a saída seja a outra entrada, tratando o zero como um elemento neutro (identidade) para evitar aprender um mapa de identidade do zero.
Complexidade: O MLP-LDRU alcança complexidade de trabalho $O(nd^2)$ (linear no comprimento da sequência) com profundidade computacional $O(\log n)$ , contrastando com a profundidade $O(n)$ das RNNs e a complexidade de trabalho $O(n^2)$ dos Transformers padrão.

Configuração Experimental

Os autores avaliaram o MLP-LDRU em:

21 Tarefas de Linguagem Regular: Incluindo benchmarks padrão (por exemplo, Verificação de Paridade, Aritmética Modular, Linguagens de Tomita, Linguagens Dyck $D_n$ ) e uma nova classe de Linguagens de Prefixo ( $P_{p,q}$ ) projetada para testar o tratamento de dependências de longo alcance sob extrapolação de comprimento.
ListOps: Uma tarefa hierárquica para extrapolação composicional além de linguagens regulares.
Classificação em PLN: Benchmarks incluindo GLUE, AG's News e DBPedia para investigar o comportamento em dados não regulares.

Principais Contribuições

Proposta do MLP-LDRU: Uma Unidade Recorrente de Profundidade Logarítmica específica que usa um operador binário viésado para associatividade aproximada e tratamento de identidade para induzir recorrência sequencial via redução paralela.
Introdução de Linguagens de Prefixo: Uma nova classe de tarefas regulares ( $P_{p,q}$ ) especificamente projetada para isolar e testar o tratamento de dependências de longo alcance sob extrapolação de comprimento.
Avaliação Empírica: Testes abrangentes em 21 tarefas regulares, ListOps e benchmarks de PLN, demonstrando desempenho superior ou competitivo em comparação com RNNs, Transformers e outras redes neurais recursivas.
Análise dos Requisitos de Treinamento: Uma análise ligando falhas de generalização à cobertura insuficiente de composições de classes de equivalência (CE) nos dados de treinamento, sugerindo que comprimentos de treinamento limitados impedem que os modelos observem composições de monoides raras necessárias para generalização perfeita.

Resultados

Tarefas de Linguagem Regular

Desempenho: Quando treinado em sequências de comprimento 1–40, o MLP-LDRU alcançou 100% de precisão OOD em 18 de 21 tarefas (avaliadas em comprimentos 41–500) e pelo menos 99,9% nas 3 restantes ao aumentar o comprimento máximo de treinamento.
Comparação: O MLP-LDRU superou todas as variantes de Transformer (incluindo aquelas com ALiBi, NoPE e RoPE aleatorizado), Gated DeltaNet e outras bases na maioria das tarefas. Ele igualou ou excedeu as capacidades de RNNs e LSTMs, que frequentemente lutam com dependências de longo alcance nessas tarefas.
Sensibilidade do Operador: Estudos de ablação mostraram que a escolha do operador de redução é crítica. Enquanto somas simples elemento a elemento ou projeções lineares falharam em tarefas complexas como Aritmética Modular, o operador baseado em MLP com controle alcançou generalização perfeita. Isso sugere que, embora a associatividade seja necessária, a capacidade específica de aprender composições complexas também é requerida.

ListOps e PLN

ListOps: Em tarefas hierárquicas, bases baseadas em árvores (BBT-GRC, RIR-GRC) geralmente alcançaram a maior precisão. No entanto, o MLP-LDRU permaneceu competitivo, superando bases de LSTM e Transformer em tamanhos de conjunto de dados maiores (500k e 1M amostras). A adição de um termo explícito de regularização de associatividade melhorou ainda mais o desempenho, indicando que encorajar associatividade aproximada é benéfico mesmo fora de linguagens regulares.
Classificação em PLN: O MLP-LDRU performou competitivamente com bases de Transformer treinadas de forma similar no GLUE, AG's News e DBPedia, alcançando a maior precisão no DBPedia (98,6%).

Interpretabilidade e Análise de Monoides

Classes de Equivalência: A análise da tarefa D6 revelou que o MLP-LDRU aprende a agrupar embeddings de sequência de acordo com suas classes de equivalência (CE) correspondentes no monoide sintático.
Lacuna de Cobertura: Mapas de calor de composições de CE mostraram que o treinamento em sequências curtas (comprimento 10–40) resulta em cobertura esparsa do espaço do monoide, perdendo composições raras encontradas em sequências mais longas (comprimento 480–500). Essa lacuna de esparsidade explica por que modelos treinados em sequências curtas falham em generalizar perfeitamente para sequências mais longas; eles não foram expostos a todas as regras de composição necessárias.

Significado e Alegações

O artigo alega que o MLP-LDRU oferece uma solução robusta para a generalização de comprimento em tarefas regulares ao alavancar as propriedades matemáticas de monoides. Ao induzir um operador aproximadamente associativo, o modelo pode aproximar uma recorrência sequencial através de redução paralela, combinando efetivamente a natureza adaptativa ao comprimento das RNNs com a eficiência paralela de estruturas baseadas em árvores.

Os autores enfatizam que o comprimento máximo de treinamento é o principal motor do desempenho OOD. Sua análise sugere que, para linguagens complexas, alcançar 100% de generalização requer exposição suficiente a todas as composições possíveis de classes de equivalência, o que pode necessitar de treinamento em sequências mais longas do que os comprimentos de teste alvo.

Embora o modelo demonstre forte desempenho em linguagens regulares e resultados competitivos em tarefas de PLN, os autores permanecem modestos quanto ao seu escopo. Eles notam que, embora linguagens regulares forneçam verificação exata, a extensão até a qual essas ideias se estendem a problemas composicionais mais ricos sob mudança de distribuição em linguagem natural requer investigação adicional. Além disso, eles identificam a necessidade de limites teóricos sobre os comprimentos mínimos de treinamento ou complexidade de amostra requeridos para alcançar cobertura total de composições de monoides.