🤖 machine learning

A Constrained Optimization Perspective of Unrolled Transformers

Este artigo propõe um framework de otimização restrita que impõe restrições de descida por camada por meio de um esquema de treinamento primal-dual, permitindo que os transformers diminuam monotonicamente a perda através das camadas e alcancem melhor robustez e generalização fora da distribuição, mantendo o desempenho dentro da distribuição.

Autores originais: Javier Porras-Valenzuela, Samar Hadou, Alejandro Ribeiro

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Javier Porras-Valenzuela, Samar Hadou, Alejandro Ribeiro

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno a resolver um quebra-cabeça complexo. Em uma sala de aula padrão (treinamento tradicional de IA), você mostra ao aluno a resposta final e diz: "Chegue mais perto desta resposta". O aluno pode dar alguns passos à frente, depois acidentalmente dar alguns passos para trás, depois à frente novamente, ziguezagueando descontroladamente até finalmente tropeçar na solução. Ele pode chegar lá, mas seu caminho foi bagunçado e instável.

Este artigo propõe uma maneira diferente de ensinar: A Regra do "Passo a Passo".

Os autores, Javier Porras-Valenzuela, Samar Hadou e Alejandro Ribeiro, sugerem que, em vez de apenas olhar para a resposta final, devemos forçar o aluno a melhorar sua posição em cada um dos passos do processo. Se o aluno der um passo que torne o quebra-cabeça mais difícil ou que não o aproxime da solução, dizemos a ele: "Não, tente novamente".

Aqui está a divisão da ideia deles usando analogias simples:

1. O Problema: O Aluno "Ziguezagueante"

Os modelos de IA padrão (Transformers) são como esses alunos que ziguezagueiam. Eles são feitos de muitas camadas (como os andares de um edifício). À medida que os dados se movem do andar inferior para o superior, o modelo tenta corrigir erros. No entanto, às vezes, o modelo fica confuso nos andares intermediários. Ele pode fazer com que os dados pareçam piores antes de torná-los melhores. Isso é como um caminhante que, ao tentar subir uma montanha, acidentalmente entra em um vale antes de encontrar o caminho para cima.

Este "ziguezague" torna o modelo frágil. Se você der ao modelo um dado ligeiramente diferente ou ruidoso (como uma foto borrada ou uma frase com um erro de digitação), ele pode se perder completamente porque não foi treinado para lidar com os solavancos na estrada.

2. A Solução: A Regra da "Descida Monotônica"

Os autores introduzem um novo método de treinamento chamado Otimização Restrita. Pense nisso como um treinador rigoroso que está parado em cada andar do edifício.

A Regra: "Você deve estar pelo menos 10% mais perto da solução neste andar do que estava no andar abaixo."
A Analogia: Imagine uma bola rolando ladeira abaixo. Um modelo padrão pode rolar para baixo, bater em um calombo, rolar um pouco para cima e depois rolar para baixo novamente. O modelo dos autores é como uma bola em um escorregador perfeitamente liso e íngreme. Ela deve descer em cada momento. Ela nunca rola para cima de novo.

Eles chamam isso de "Unrolling" (desenrolar) o transformer. Geralmente, "unrolling" significa construir uma rede neural especificamente para resolver um problema matemático. Aqui, eles estão pegando uma arquitetura de IA padrão existente e forçando-a a se comportar como um algoritmo de descida perfeito, passo a passo.

3. Como Eles Fazem Isso: A "Dança Primal-Dual"

Treinar um modelo com essa regra estrita de "não dar passos para trás" é matematicamente difícil. É como tentar ensinar um cachorro a sentar enquanto também garante que ele não lata, enquanto também garante que ele permaneça dentro de uma cerca específica.

Os autores usam um truque matemático inteligente chamado Treinamento Primal-Dual:

O Primal (O Aluno): O modelo de IA tenta aprender a tarefa (como classificar texto ou limpar um vídeo).
O Dual (O Treinador): Um conjunto separado de números (chamados multiplicadores de Lagrange) atua como um árbitro rigoroso. Se a IA tentar dar um passo que viole a regra de "não dar passos para trás", o Treinador aplica uma penalidade.
A Dança: Eles treinam juntos. A IA tenta melhorar, e o Treinador ajusta as penalidades para garantir que a IA siga as regras. O artigo afirma que essa dança é muito eficiente e não atrasa muito o computador.

4. Os Resultados: O Modelo "Robusto"

O artigo testou este método em duas tarefas principais: Classificação de Texto (compreensão de linguagem) e Redução de Ruído de Vídeo (limpeza de vídeo granulado).

O "Teste de Ruído": Eles testaram os modelos adicionando "ruído" (como estática em uma TV ou erros de digitação em uma frase).
- O Modelo Padrão: Quando o ruído aumentava, o desempenho do modelo padrão desabava. Era como uma casa de cartas caindo com uma brisa.
- O Modelo Restrito: Quando o ruído aumentava, este modelo não desabava. Ele degradava de forma graciosa, como uma árvore robusta que se curva ao vento, mas não quebra. Ele continuava funcionando mesmo quando a entrada estava bagunçada.
O "Teste Fora da Distribuição": Eles testaram os modelos com dados que nunca tinham visto antes (como um modelo RoBERTa treinado em críticas de filmes, mas testado em um tipo diferente de texto). O modelo restrito manteve sua posição muito melhor do que o padrão.

5. Por Que Isso Importa (De Acordo com o Artigo)

O artigo não afirma que isso curará doenças ou construirá carros autônomos imediatamente. Em vez disso, afirma que resolve um problema específico: Robustez.

Ao forçar a IA a melhorar em cada passo de seu processo de pensamento, o modelo torna-se:

Mais Estável: Não se confunde com pequenos erros na entrada.
Mais Confiável: Tem um desempenho melhor em dados que não viu antes (Fora da Distribuição).
Previsível: Sabemos exatamente como o modelo se comporta conforme processa a informação porque ele segue um caminho "descendente" estrito.

Em resumo, os autores pegaram uma ferramenta de IA poderosa, mas por vezes caótica, e adicionaram um "corrimão de segurança" que a força a avançar de forma constante, tornando-a muito mais resistente ao ruído e ao caos do mundo real.

Resumo Técnico: Uma Perspectiva de Otimização com Restrições de Transformers Desdobrados (Unrolled Transformers)

Declaração do Problema

Embora a literatura recente tenha interpretado arquiteturas Transformer como algoritmos de descida iterativa que resolvem problemas de otimização (ex: Yang et al., 2022; De Weerdt et al., 2023), o treinamento padrão via Minimização do Risco Empírico (ERM) frequentemente falha em impor o comportamento de descida monotônica esperado de tais otimizadores. Quando treinados com ERM, as representações intermediárias de Transformers desdobrados não necessariamente diminuem a função de perda monotonicamente através das camadas. Essa inconsistência surge porque o treinamento padrão não garante que os parâmetros aprendidos satisfaçam as condições necessárias para a minimização de energia, nem leva em conta a natureza bilevel do treinamento de arquiteturas desdobradas. Consequentemente, esses modelos podem exibir padrões de perda não monotônicos e redução de robustez a perturbações de entrada e mudanças de distribuição.

Metodologia

Os autores propõem um framework que trata o treinamento de Transformer como um problema de aprendizado com restrições. Em vez de minimizar a perda média sobre a saída de toda a rede, o método impõe que a perda esperada diminua monotonicamente em cada camada.

1. Formulação com Restrições

A contribuição central é a formulação de um problema de otimização com restrições onde a saída de cada camada $l$ é exigida para reduzir a perda esperada $f$ por um fator $(1 - \alpha_l)$ em relação à camada anterior $l-1$ :
$\begin{aligned} T^* = \arg\min_{T} \quad & \mathbb{E}[f(X, \Phi(X; T))] \\ \text{sujeito a} \quad & \mathbb{E}[f(X, \Phi_l(X; T))] \leq (1 - \alpha_l) \mathbb{E}[f(X, \Phi_{l-1}(X; T))], \quad \forall l \end{aligned}$
Aqui, $\Phi_l$ representa a saída da camada $l$ , e $\alpha_l$ é um cronograma de tamanho de passo (stepsize schedule). Esta formulação força o Transformer a se comportar como um algoritmo de descida, garantindo que as representações intermediárias melhorem progressivamente o objetivo.

2. Algoritmo de Treinamento Primal-Dual

Para resolver este problema de otimização não convexo, os autores empregam um esquema de treinamento primal-dual no domínio dual. Eles constroem uma função Lagrangiana:
$\mathcal{L}(T, \lambda) = \mathbb{E}[f(X, \Phi(X; T))] + \sum_{l=1}^L \lambda_l \mathbb{E}[f(X, \Phi_l(X; T)) - (1 - \alpha_l)f(X, \Phi_{l-1}(X; T))]$
O procedimento de treinamento (Algoritmo 1) alterna entre:

Atualização Primal: Minimização da Lagrangiana empírica em relação aos parâmetros do Transformer $T$ usando gradiente descendente estocástico.
Atualização Dual: Maximização da função dual em relação aos multiplicadores de Lagrange $\lambda$ usando ascensão de gradiente projetado.

Os autores utilizam resultados recentes mostrando que redes neurais profundas exibem pequenos gaps de dualidade (Chamon et al., 2023), permitindo que o problema dual produza soluções próximas da ótima e próximas da factível. Para garantir a viabilidade estrita, uma relaxação resiliente com uma variável de folga e penalidade quadrática é introduzida.

Principais Contribuições

O artigo delineia quatro contribuições primárias:

Formulação de Aprendizado com Restrições: Os autores formulam um problema de aprendizado onde as camadas do Transformer são explicitamente restritas a reduzir a perda esperada monotonicamente, divergindo do ERM padrão.
Algoritmo de Treinamento Dual & Garantias de Convergência: Eles desenvolvem um algoritmo de treinamento primal-dual e fornecem garantias teóricas (Teorema 2) de que o Transformer desdobrado com restrições converge assintoticamente para o valor ótimo da perda estatística. Eles estabelecem adicionalmente garantias de generalização fora da distribuição (OOD) (Teorema 4), provando que as propriedades de descida são mantidas sob mudanças de distribuição.
Robustez a Perturbações de Embeddings: Em tarefas de classificação de texto (IMDb, MNLI), os autores demonstram que os modelos com restrições mantêm maior precisão sob perturbações gaussianas, uniformes e discretas nos embeddings de tokens em comparação com baselines sem restrições.
Robustez em Redução de Ruído de Vídeo: Aplicado à redução de ruído de vídeo (CUHK Avenue, UCSD, ShanghaiTech), o método produz modelos que são mais robustos a níveis de ruído OOD, medidos pelo Erro Quadrático Médio (RMSE), enquanto preserva o desempenho dentro da distribuição.

Resultados Experimentais

Os autores avaliaram seu método tanto em Transformers pré-treinados convencionais (DistilBERT, RoBERTa, Llama 3.1) quanto em arquiteturas desdobradas (Deep Unfolded Sequential Transformer - DUST, Unrolled Transformer - UT).

Descida Monotônica: Modelos com restrições exibiram diminuições suaves e monotônicas na perda por camada, enquanto baselines sem restrições mostraram padrões não monotônicos com picos (ex: um pico na camada 19 no RoBERTa).
Robustez OOD:
- Classificação de Texto: À medida que os níveis de perturbação ( $\gamma$ ) aumentavam, os modelos com restrições degradavam de forma mais graciosa. Por exemplo, no RoBERTa com IMDb, o modelo com restrição reteve uma precisão significativamente maior sob altos níveis de ruído comparado à versão sem restrições.
- Redução de Ruído de Vídeo: Modelos com restrições alcançaram consistentemente um RMSE menor sob altos níveis de perturbação de teste ( $\gamma \geq 1.0$ ) em vários datasets e arquiteturas.
- Fine-tuning de LLM: No Llama 3.1 8B, o modelo com restrição manteve o desempenho dentro da distribuição (50% de taxa de vitória no AlpacaEval sem ruído) enquanto superou significativamente o modelo sem restrições sob ruído (69,93% de taxa de vitória com $\gamma=1.5$ ).
Compromissos (Trade-offs): O método geralmente preservou o desempenho dentro da distribuição com degradação negligível (frequentemente < 0,3%), sugerindo que impor restrições de descida não sacrifica a precisão padrão pela robustez.

Significância e Alegações

O artigo afirma que impor restrições de descida alinha a dinâmica interna dos Transformers com as propriedades de estabilidade de algoritmos de otimização clássicos. Esse alinhamento fornece uma base teórica e empírica para uma melhor robustez contra perturbações de entrada e mudanças de distribuição.

Os autores posicionam este trabalho como uma ponte entre o desdobramento algorítmico (onde redes resolvem problemas de otimização) e o aprendizado com restrições. Eles argumentam que, ao treinar explicitamente os Transformers para descer, é possível alcançar modelos que são inerentemente mais robustos ao ruído, uma propriedade particularmente valiosa para aplicações envolvendo privacidade diferencial local, onde perturbações de entrada são necessárias para a privacidade do usuário. O trabalho sugere que a perspectiva "desdobrada" não é meramente uma interpretação teórica, mas um objetivo de treinamento prático que produz melhorias tangíveis em generalização e robustez sem exigir mudanças arquiteturais.