Resumo Técnico: AIR: Raciocínio Intercalado Adaptativo com Código em Modelos de Linguagem Grande Multimodais

Declaração do Problema

Embora avanços recentes em Modelos de Linguagem Grande Multimodais (MLLMs) tenham integrado o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para aprimorar as capacidades de raciocínio, os paradigmas existentes focam primariamente no uso de ferramentas para tarefas de percepção visual (ex: rotação, zoom). Essas abordagens dependem de heurísticas predefinidas para manipulação visual e falham em abordar problemas de computação numérica complexos. Os MLLMs atuais frequentemente carecem da habilidade de acionar autonomamente scripts Python durante o raciocínio textual para lidar com tarefas matemáticas intrincadas, uma capacidade essencial para unir a deliberação multimodal à execução agêntica. Além disso, treinar modelos para tal invocação adaptativa de ferramentas frequentemente leva à instabilidade, incluindo o colapso do modelo, quando o uso de ferramentas torna-se excessivo ou não regulamentado.

Metodologia

O artigo propõe o AIR (Adaptive Interleaved Reasoning with Code - Raciocínio Intercalado Adaptativo com Código), um framework projetado para capacitar MLLMs com capacidades de raciocínio intercalado adaptativo através de um paradigma de treinamento de dois estágios: Ajuste Fino Supervisionado (SFT) de cold-start e aprimoramento por Aprendizado por Reforço (RL).

1. Construção de Dados de Dois Estágios para Cold-Start

Para superar a dificuldade de ativar o raciocínio intercalado em modelos de código aberto menores, os autores introduzem um pipeline de síntese de dados desacoplado de dois passos:

• Geração de CoT Textual: Um MLLM gera caminhos iniciais de raciocínio de Cadeia de Pensamento (CoT) textual para problemas complexos.
• Reescrita Intercalada: Um LLM reescreve esses caminhos, substituindo componentes de cálculo numérico por trechos de código Python executáveis.
• Verificação: Os dados resultantes passam por uma verificação rigorosa em um ambiente de sandbox para garantir a integridade da execução do código e a precisão dos resultados antes de serem usados como dados de cold-start.

2. Estratégias de Filtragem de Dados de RL

Para garantir dados de treinamento de alta fidelidade para a fase de RL, duas estratégias distintas de filtragem são empregadas:

• Estratégia Autoamostrada (Self-Sampled): Utiliza um mecanismo de consenso de múltiplos turnos onde os próprios roll-outs do modelo candidato determinam a elegibilidade baseada na métrica Pass@k. Isso permite uma refiltragem iterativa conforme o modelo melhora.
• Estratégia Pré-Filtrada (Prior-Filtered): Aproveita modelos "professores" de alta capacidade (ex: GPT, Gemini) para atuar como um portão de qualidade extrínseco, rotulando amostras de dados com base em se elas necessitam de invocação de ferramenta para uma resolução eficaz.

3. Invocação de Ferramenta Adaptativa via Recompensa com Restrição de Grupo

A inovação central reside na fase de treinamento de RL, que utiliza o algoritmo Otimização de Política Relativa de Grupo (GRPO) aprimorado com uma função de recompensa com restrição de grupo.

• Estrutura de Recompensa Híbrida: A recompensa total ($R$) combina uma Recompensa de Formato ($R_f$), uma Recompensa de Acurácia ($R_{acc}$) e uma Recompensa de Código Integrado ($R_{code}$).
• Restrições de Grupo: Diferente do GRPO padrão, este método introduz restrições intra-grupo na proporção de sequências de raciocínio intercalado. A recompensa para o uso de código ($R_{code}$) é ajustada com base na proporção de sequências de chamada de ferramenta dentro de um grupo, diferenciada pelo fato de a resposta final ser correta ($P_r$) ou incorreta ($P_w$).
• Mecanismo de Estabilidade: Esta restrição evita que o modelo invoque ferramentas excessivamente (o que leva a picos de entropia e colapso do treinamento) enquanto incentiva a invocação adaptativa. Ela desacopla a recompensa de código da recompensa de acurácia, reconhecendo que o uso de ferramentas é um componente da cadeia de raciocínio, e não o único determinante do sucesso.

Principais Contribuições

1. Metodologia de Construção de Dados de Dois Estágios: Um pipeline para sintetizar dados de cold-start que suporta o raciocínio aumentado por código de forma intercalada, reduzindo efetivamente a barreira para a geração de trajetórias de treinamento de alta qualidade.
2. Estratégias de Filtragem de Dados: A proposta de estratégias Autoamostrada e Pré-Filtrada para curar dados de raciocínio intercalado, mitigando ruídos e garantindo a otimização estável da política.
3. Estratégia de Invocação de Ferramenta Adaptativa: O desenvolvimento de uma variante de GRPO com restrições de grupo que permite aos modelos determinar autonomamente a necessidade e o momento das chamadas de ferramentas, garantindo ao mesmo tempo a estabilidade do treinamento a longo prazo.

Resultados Experimentais

Experimentos foram conduzidos utilizando o modelo Qwen2.5-VL-7B em seis benchmarks de raciocínio matemático (MathVista, MathVision, MathVerse, DynaMath, WeMath, LogicVista).

• Ganhos de Desempenho: Após o treinamento de RL com a recompensa de restrição de grupo, o modelo AIR alcançou um aumento médio de 6,1 pontos percentuais (pp) nos benchmarks em comparação com o baseline.
• Melhorias Específicas: Ganhos notáveis incluem +8,1 pp no MathVista, +7,7 pp no MathVerse e +9,9 pp no WeMath.
• Acurácia de Raciocínio Intercalado: A acurácia especificamente para amostras de raciocínio intercalado aumentou em 9,9 pp.
• Sucesso no Uso de Ferramentas: A taxa de sucesso geral de uso de ferramentas excedeu 95% através de várias proporções de chamada de ferramenta.
• Estabilidade: O mecanismo de restrição de grupo evitou com sucesso o colapso do treinamento, um problema comum em RL Agêntico, onde o uso excessivo de ferramentas leva à instabilidade.

Significância e Alegações

O artigo afirma que o AIR representa um passo significativo para permitir que MLLMs realizem o raciocínio de Sistema 2 (pensamento lento) ao orquestrar autonomamente ferramentas especializadas para tarefas pesadas de computação. Ao contrário de trabalhos anteriores focados em percepção visual (Sistema 1), o AIR aborda a lacuna crítica na computação numérica complexa.

Os autores afirmam que sua abordagem fornece uma solução robusta para o raciocínio multimodal complexo ao:

1. Desacoplar a geração de traços de raciocínio da execução de código, permitindo uma produção de dados mais confiável.
2. Estabilizar o treinamento de RL Agêntico de longo horizonte através de recompensas de restrição de grupo, prevenindo o colapso do modelo associado à invocação de ferramentas não regulamentada.
3. Demonstrar que a invocação de ferramentas adaptativa, em vez do uso fixo ou excessivo, é a chave para melhorar o desempenho em benchmarks matemáticos.

O artigo conclui modestamente, observando que, embora o AIR alcance resultados fortes, seu desempenho permanece limitado pelas capacidades inerentes de codificação e percepção do modelo base, e que trabalhos futuros devem expandir a avaliação além do raciocínio matemático para domínios como física e finanças.