IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

1. Formulação do Problema

Os Grandes Modelos de Linguagem (LLMs) têm dificuldade com raciocínio matemático complexo, particularmente em cenários multilíngues e de baixos recursos (por exemplo, línguas indianas como hindi e marata). Os paradigmas de treinamento existentes enfrentam duas limitações principais:

• Esparsidade de Recompensa: O treinamento que recompensa apenas a resposta final falha em supervisionar as etapas intermediárias do raciocínio, levando a cadeias de lógica alucinadas.
• Lacunas no Currículo: O aprendizado de currículo padrão (progressão de problemas fáceis para difíceis) frequentemente falha em capturar onde o raciocínio se quebra. Por outro lado, métodos de reforço em nível de etapa (como Currículo Reverso) frequentemente carecem de programação de dificuldade, levando a um aprendizado instável sobre recompensas esparsas.
• Transferência Cross-Lingual: Línguas de baixos recursos frequentemente carecem de dados suficientes para sustentar independentemente raciocínio de alta qualidade, e a tradução direta de traços de raciocínio frequentemente degrada a coerência.

2. Metodologia: O Framework IRIS

Os autores propõem o IRIS (Reforço Intercalado com Currículo em Estágios Incrementais), um framework de treinamento de dois eixos projetado para desacoplar a aquisição de habilidades do refinamento do raciocínio.

A. O Currículo de Dois Eixos

1. Eixo Vertical (Currículo em Nível de Problema):

   • Objetivo: Aumentar gradualmente a dificuldade da tarefa.
   • Processo: O modelo passa por Ajuste Fino Supervisionado (SFT) em estágios: Fácil $\to$ Fácil+Médio $\to$ Fácil+Médio+Difícil.
   • Mecanismo: O modelo aprende traços completos de raciocínio para problemas de complexidade crescente, estabelecendo uma base de padrões de raciocínio antes do início do aprendizado por reforço.

2. Eixo Horizontal (Currículo de Continuação em Nível de Etapa):

   • Objetivo: Reduzir a dependência de prefixos de raciocínio fornecidos e encorajar o planejamento independente.
   • Processo: Uma abordagem de Currículo Reverso. Para um problema com $n$ etapas, o modelo é treinado em $n-1$ estágios.
     • Estágio 0 (Mais Fácil): O modelo recebe $n-2$ etapas e deve gerar apenas as últimas 2 etapas.
     • Estágio $k$: O modelo recebe $n-k-2$ etapas e deve gerar o restante.
     • Estágio $n-2$ (Mais Difícil): O modelo recebe apenas a pergunta e deve gerar a solução completa a partir do zero.
   • Mecanismo: Isso força o modelo a transicionar de completar cadeias parciais para gerar trajetórias completas de raciocínio.

B. Design de Recompensa Composta (RLVR)

Para otimizar o Eixo Horizontal, os autores utilizam o Otimização de Política Relativa em Grupo (GRPO) com uma nova função de recompensa composta $R_k$:
$$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$$

• Correção ($r_{final}$): Recompensa binária (+2) para correspondência exata da resposta.
• Alinhamento de Cosseno ($r_{cos}$): Mede a similaridade semântica entre o sufixo gerado e as etapas de raciocínio da verdade fundamental. Crucialmente, este peso $\lambda_k$ decai linearmente à medida que o estágio do currículo aumenta. Atua como um estabilizador nos estágios iniciais, mas é eliminado nos estágios difíceis para encorajar caminhos de raciocínio diversos e válidos.
• Continuidade ($r_{cont}$): Recompensa a numeração correta das etapas e o fluxo lógico (por exemplo, continuar de onde o prefixo deixou).
• Incentivo Inteiro ($r_{int}$): Pequeno bônus para produzir saídas numéricas.

C. Estratégia Multilíngue: Inglês como Âncora de Raciocínio

O framework introduz uma configuração de treinamento bilíngue (por exemplo, Inglês + Hindi).

• Hipótese: O inglês atua como uma "âncora de raciocínio". Como o inglês possui dados de raciocínio de alta qualidade, ele estabiliza a dinâmica de aprendizado.
• Mecanismo: O modelo aprende a lógica do raciocínio a partir do inglês e transfere essa capacidade para línguas de baixos recursos (Hindi/Marata), que focam principalmente em expressar essa lógica em um novo script. Experimentos mostram que mesmo uma mistura de 20% de inglês previne significativamente a estagnação da recompensa no treinamento monolíngue de baixos recursos.

3. Principais Contribuições

1. Framework IRIS: Um currículo inovador de dois eixos combinando SFT baseado em dificuldade (Vertical) com RL de etapa reversa (Horizontal) para estabilizar o raciocínio de longo horizonte.
2. Função de Recompensa Composta: Um sinal de recompensa multi-componente que equilibra a correção da resposta com o alinhamento passo a passo e a continuidade estrutural, otimizado via GRPO.
3. Dataset CL-Math: Um novo dataset multilíngue de 29k exemplos contendo problemas matemáticos com anotações em nível de etapa em Inglês, Hindi e Marata. Inclui 2.184 fáceis, 2.212 médios e 5.588 difíceis por idioma, com divisões estritas de treino/teste para prevenir vazamento de dados.
4. Insights Cross-Lingual: Evidência empírica de que o treinamento bilíngue (Inglês + Baixos Recursos) atua como um regularizador necessário, permitindo pós-treinamento por RL estável onde abordagens monolíngues falham.

4. Resultados

Os autores avaliaram o IRIS nos modelos Qwen2.5-Math-7B e WizardMath-7B.

• Desempenho no CL-Math:
  • O IRIS melhorou a precisão do raciocínio em até +15,8% nos problemas mais difíceis em hindi em comparação com as bases.
  • Configurações bilíngues (Inglês-Hindi/Marata) mostraram ganhos substanciais sobre configurações monolíngues, confirmando a hipótese da "âncora de raciocínio".
• Generalização para Benchmarks Padrão:
  • SVAMP: 90,6% (vs. 70,4% base).
  • GSM8K: 83,9% (vs. 70,6% base).
  • MATH: 64,6% (vs. 29,5% base).
  • O IRIS superou outros modelos especializados de 7B (MetaMath, DeepSeek-Math) e aproximou-se do desempenho do GPT-4 em benchmarks específicos.
• Estudos de Ablação:
  • Remover o aquecimento SFT vertical ou a progressão do currículo degradou significativamente o desempenho.
  • Simplificar a recompensa para apenas correção reduziu a precisão, destacando a importância da estrutura de recompensa composta.
  • Uma mistura de 20% de inglês no treinamento em marata produziu o melhor equilíbrio, atuando como regularizador.

5. Significado e Impacto

• Ponte para a Lacuna de Baixos Recursos: O IRIS demonstra um caminho prático para aprimorar o raciocínio matemático em línguas sub-representadas (Hindi, Marata) ao alavancar dados de alto recurso em inglês sem exigir conjuntos de dados nativos massivos.
• RL Estável para Raciocínio: A combinação de currículos em estágios e recompensas de alinhamento decrescentes resolve os problemas de instabilidade comuns no Aprendizado por Reforço para tarefas de raciocínio, permitindo que modelos aprendam lógica complexa e multi-etapa sem colapsar.
• Ciência Aberta: O lançamento do CL-Math e do código fornece um recurso crítico para a comunidade pesquisar ainda mais o raciocínio multilíngue e o aprendizado de currículo.
• Alinhamento Cognitivo: O framework espelha o desenvolvimento cognitivo humano (aprender a estrutura primeiro, depois escalar a complexidade), oferecendo um paradigma de treinamento mais robusto do que a otimização de caixa-preta ponta a ponta.

Em conclusão, o IRIS estabelece que o design estruturado de currículo combinado com reforço intercalado é uma estratégia altamente eficaz para desbloquear capacidades de raciocínio profundo em modelos de linguagem pequenos, particularmente em contextos multilíngues.