📊 statistics

Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently

Este artigo demonstra teoricamente que, embora tanto o aprendizado por reforço com recompensas de processo quanto o ajuste fino supervisionado permitam que transformadores de uma camada aprendam, de forma comprovada, funções booleanas esparsas por meio de raciocínio em cadeia de pensamento, eles diferem fundamentalmente em suas dinâmicas de aprendizado, com o RL adquirindo toda a cadeia de raciocínio simultaneamente, enquanto o SFT a aprende passo a passo.

Autores originais: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente, mas ligeiramente confuso (um Transformer) que precisa resolver um quebra-cabeça complexo. O quebra-cabeça é uma função booleana, que é apenas uma maneira sofisticada de dizer um problema de lógica onde a resposta é "Sim" (+1) ou "Não" (-1). Especificamente, o artigo examina quebra-cabeças "esparços", o que significa que a resposta depende apenas de algumas peças específicas de informação escondidas entre muito ruído.

Para resolver esses quebra-cabeças, o robô usa uma estratégia chamada Cadeia de Pensamento (CoT). Em vez de pular direto para a resposta, ele divide o problema em uma série de pequenos passos intermediários, como um humano pensando em um problema de matemática passo a passo em um rascunho.

O artigo investiga duas maneiras diferentes de ensinar esse robô a usar a CoT de forma eficaz: Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL). Os autores provam que ambos os métodos funcionam, mas ensinam o robô de maneiras fundamentalmente diferentes.

Aqui está a explicação usando analogias simples:

1. O Quebra-Cabeça: Decomposição Recursiva

Imagine que o quebra-cabeça é uma árvore gigante. Para encontrar a resposta no topo, você precisa resolver pequenos problemas de lógica de 2 peças na base, depois combinar essas respostas para resolver problemas de 2 peças ligeiramente maiores, e assim por diante, até chegar ao topo.

O Objetivo: O robô precisa aprender a olhar apenas para as duas peças específicas de informação (as "folhas" relevantes) necessárias para cada etapa e ignorar o resto do ruído.

2. Os Dois Professores

Professor A: O Instrutor de Treinamento Rigoroso (SFT)

O Ajuste Fino Supervisionado (SFT) é como um professor que dá ao robô o chave de respostas perfeita para cada etapa individual do quebra-cabeça.

Como funciona: O professor diz: "Para a etapa 1, a resposta é X. Para a etapa 2, a resposta é Y."
O Problema: O robô precisa gerar a resposta para a etapa 2 com base no que acabou de escrever para a etapa 1.
O Resultado (Aprendizado Passo a Passo): O artigo prova que este robô aprende uma etapa de cada vez.
- Analogia: Imagine tentar aprender uma coreografia de dança. Se você errar o primeiro movimento, não consegue aprender o segundo movimento porque sua posição inicial está errada. O robô precisa dominar a Etapa 1 perfeitamente antes de poder começar a aprender a Etapa 2. Leva uma sessão de treinamento para corrigir a Etapa 1, depois outra sessão para corrigir a Etapa 2, e assim por diante. É um processo lento e linear.

Professor B: O Treinador de Processo (RL com Recompensas de Processo)

O Aprendizado por Reforço (RL) é como um treinador que não olha apenas para a pontuação final, mas dá feedback sobre cada movimento individual que o robô faz.

Como funciona: O robô tenta resolver o quebra-cabeça. Se ele acertar um pequeno passo, o treinador dá uma recompensa de "bom trabalho" imediatamente. Se ele errar, recebe uma penalidade.
O Resultado (Aprendizado Simultâneo): O artigo prova que este robô aprende a cadeia inteira de etapas de uma só vez.
- Analogia: Imagine um treinador gritando: "Bom trabalho nos pés no movimento 1! Boa posição da mão no movimento 5! Cotovelo ruim no movimento 3!" tudo ao mesmo tempo. Como o robô recebe feedback específico para cada etapa individual, independentemente de os passos anteriores terem sido perfeitos, ele pode ajustar toda a sua coreografia em uma única sessão de treinamento. Ele aprende a dança inteira simultaneamente.

3. A Grande Descoberta: "Processo" vs. "Resultado"

O artigo destaca uma diferença crucial na forma como esses professores dão feedback:

SFT depende da própria saída anterior do robô. Se o robô estiver errado no início, a "verdade fundamental" para a próxima etapa se torna ruído confuso. Isso força o aprendizado passo a passo.
RL (especificamente com recompensas de processo) dá ao robô a "verdade fundamental" correta para cada etapa independentemente. Não importa se o robô errou a etapa 1; o treinador ainda sabe o que a etapa 2 deveria ter sido e recompensa/pune de acordo. Isso permite o aprendizado "tudo de uma vez".

4. E os Quebra-Cabeças "Difíceis"?

O artigo testou isso em três tipos específicos de quebra-cabeças de lógica:

k-PARIDADE: Como verificar se um grupo de interruptores tem um número par ou ímpar de posições "ligadas". (Isso é notoriamente difícil para IA aprender sem ajuda).
k-AND: Verificar se todos os interruptores específicos estão "ligados".
k-OR: Verificar se pelo menos um interruptor específico está "ligado".

O artigo prova matematicamente que, para todos os três desses quebra-cabeças, ambos os métodos de ensino funcionam, desde que o robô possa distinguir entre as peças de informação "importantes" e o "ruído".

Resumo das Descobertas

Ambos funcionam: Você pode ensinar um Transformer a fazer raciocínio complexo usando SFT ou RL.
Eles são diferentes:
- SFT é como um aluno que deve dominar o básico antes de avançar. Ele aprende passo a passo.
- RL (com recompensas de processo) é como um aluno recebendo feedback instantâneo sobre cada parte específica do problema. Ele aprende a cadeia inteira simultaneamente.
O Aviso: Se você comparar SFT e RL na vida real, precisa ter cuidado. Se você mudar como o professor dá feedback (por exemplo, usando uma "recompensa final" apenas no final em vez de "recompensas de processo" em cada etapa), o comportamento de aprendizado muda completamente. O artigo sugere que comparar esses dois métodos exige controlar como as recompensas são projetadas, e não apenas o método em si.

Em resumo, o artigo mostra que, embora ambos os métodos possam ensinar um robô a pensar logicamente, eles o fazem com diferentes "velocidades de aprendizado" e "estilos de ensino", e entender essas diferenças é fundamental para construir uma IA melhor.

Resumo Técnico: Transformers com RL ou SFT Aprendem Provavelmente Funções Booleanas Esparsas, Mas de Maneiras Diferentes

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) baseados na arquitetura Transformer demonstraram capacidades notáveis de raciocínio por meio do prompt de Cadeia de Pensamento (CoT). Embora o Ajuste Fino Supervisionado (SFT) e o Aprendizado por Reforço (RL) sejam os métodos principais para aprimorar essas capacidades, os mecanismos teóricos subjacentes às suas dinâmicas de aprendizado permanecem pouco compreendidos. Especificamente, há uma falta de análise rigorosa comparando como o RL (particularmente com recompensas de processo) e o SFT (especificamente sem forçamento do professor) permitem que Transformers aprendam funções booleanas complexas e esparsas que, de outra forma, seriam difíceis de aprender de forma ponta a ponta. Este trabalho aborda essa lacuna investigando a aprendibilidade de funções booleanas $k$ -esparsas — funções determinadas por um pequeno subconjunto de $k$ bits de entrada — usando um Transformer de uma camada equipado com etapas intermediárias de raciocínio.

Metodologia
Os autores propõem um quadro teórico unificado para analisar as dinâmicas de aprendizado tanto do RL quanto do SFT em uma classe específica de funções booleanas $k$ -esparsas. Essas funções são recursivamente decompostas em funções booleanas fixas 2-esparsas (por exemplo, paridade, E, OU), formando uma cadeia de raciocínio análoga ao CoT.

Arquitetura do Modelo: O estudo utiliza um Transformer simplificado de uma camada consistindo em codificação posicional, uma camada de autoatenção e uma camada feedforward. O modelo é projetado para gerar iterativamente etapas intermediárias de raciocínio ( $y^{(t)}$ ) antes de produzir uma resposta final.
Máscara "Pré-treinada": Para garantir a tratabilidade teórica e simular os prios estruturais ganhos com o pré-treinamento, os autores impõem uma máscara "pré-treinada" específica sobre os pesos de atenção. Essa máscara restringe a atenção dos tokens de raciocínio aos seus nós filhos relevantes (conforme definido pela decomposição recursiva) e à sequência de entrada, controlando efetivamente a propagação de erros.
Paradigmas de Aprendizado:
- RL com Recompensa de Processo: O Transformer é otimizado via gradiente de política para maximizar uma função de recompensa onde as recompensas são atribuídas a cada etapa intermediária de raciocínio ( $r_t$ ), em vez de apenas ao resultado final.
- SFT sem Forçamento do Professor: O Transformer é treinado para minimizar uma perda (perda de hinge) sobre cadeias de raciocínio geradas em comparação com rótulos verdadeiros. Crucialmente, o modelo gera suas próprias etapas intermediárias durante o treinamento (geração autoregressiva) em vez de receber prefixos verdadeiros (forçamento do professor), abordando a discrepância entre treinamento e inferência.
Ferramenta Analítica Central: Os autores introduzem um "componente de gradiente crítico" ( $\gamma$ ). Eles demonstram que a separação desse componente — onde o sinal de gradiente para posições relevantes (nós filhos) é estritamente maior do que para posições irrelevantes — serve como uma condição suficiente para a aprendibilidade provável.

Principais Contribuições e Resultados
O artigo estabelece condições suficientes sob as quais um Transformer de uma camada pode provar aprender funções booleanas $k$ -esparsas tanto via RL quanto via SFT. As principais descobertas são:

Condição Unificada de Aprendibilidade: Tanto o RL quanto o SFT têm sucesso se o componente de gradiente crítico separar posições relevantes de irrelevantes. Essa condição é verificada para três exemplos fundamentais: $k$ -PARIDADE, $k$ -E e $k$ -OU.
Dinâmicas de Aprendizado Distintas:
- RL (Recompensa de Processo): Sob a condição de separação, o RL aprende toda a cadeia de raciocínio CoT simultaneamente em uma única atualização de gradiente. A recompensa de processo fornece sinais informativos para todas as etapas, independentemente do estado atual de outras etapas, permitindo que o modelo adquira a capacidade completa de raciocínio imediatamente.
- SFT (Sem Forçamento do Professor): Em contraste, o SFT exibe um comportamento de aprendizado passo a passo. Devido à natureza autoregressiva da geração, o modelo não pode aprender confiavelmente a etapa $t$ até que a etapa $t-1$ seja gerada corretamente. Consequentemente, o SFT requer $T$ atualizações de gradiente (onde $T$ é o comprimento da cadeia) para aprender a cadeia inteira, resolvendo uma etapa por atualização.
Dificuldade da Recompensa Final: O artigo prova que o RL otimizado apenas com uma recompensa final (baseada em resultado) falha em aprender essas funções de forma eficiente. A variância do gradiente de política é exponencialmente pequena, afogando o sinal no ruído, o que explica a necessidade de recompensas de processo para tarefas de raciocínio complexo.
Extensão para CoT Serial: A análise é estendida além da decomposição em árvore binária para estruturas de CoT serial (comuns em LLMs práticos), confirmando que as mesmas dinâmicas de aprendizado (simultâneo para RL, passo a passo para SFT) se mantêm sob mascaramento apropriado.

Significado e Alegações
Os autores afirmam que este trabalho fornece a primeira caracterização teórica das dinâmicas de aprendizado do RL com recompensas de processo para Transformers, preenchendo uma lacuna crítica na literatura. Ao remover o forçamento do professor e estratégias de aumento de dados frequentemente usadas em trabalhos teóricos anteriores (por exemplo, Kim & Suzuki, 2025), o estudo oferece uma comparação mais realista entre RL e SFT.

O significado reside em revelar que, embora ambos os métodos possam alcançar a aprendibilidade, eles o fazem através de mecanismos fundamentalmente diferentes:

O RL com recompensas de processo imita a eficiência do SFT com forçamento do professor ao aprender toda a cadeia simultaneamente.
O SFT sem forçamento do professor induz naturalmente um currículo passo a passo, uma propriedade intrínseca do treinamento autoregressivo que não requer aprendizado de currículo externo ou filtragem de dados.

O artigo conclui que comparações empíricas entre RL e SFT devem controlar cuidadosamente fatores como o design da recompensa (processo vs. resultado) e regimes de treinamento (forçamento do professor vs. geração autoregressiva), pois esses fatores alteram significativamente as dinâmicas de aprendizado e podem confundir a comparação dos próprios métodos de otimização.