Resumo Técnico: IAPO: Otimização de Política Consciente da Atribuição de Entrada para o Uso de Ferramentas em Pequenos Agentes Multimodais

Declaração do Problema

O artigo aborda o desafio de treinar agentes de Pequenos Modelos de Linguagem (SLM) para usar ferramentas de forma eficaz em cenários multimodais, especificamente para o questionamento visual (VQA) envolvendo gráficos e tabelas. Embora métodos de Aprendizado por Reforço (RL) como o Proximal Policy Optimization (PPO) e o Group Relative Policy Optimization (GRPO) tenham melhorado o desempenho dos agentes, eles enfrentam limitações significativas quando aplicados a SLMs multimodais:

1. Design de Recompensa Inadequado para Tarefas Multimodais: Métodos existentes frequentemente dependem de correspondência exata com trajetórias de uso de ferramentas de verdade fundamental (ground-truth) ou formatos predefinidos. No entanto, tarefas multimodais frequentemente admitem múltiplos caminhos válidos de uso de ferramentas (por exemplo, destacar, mascarar ou desenhar caixas delimitadoras pode ser válido para focar em regiões relevantes do gráfico). Verificações de formato rígidas falham em capturar essa flexibilidade.
2. Recompensas Esparsas e Frágeis: Abordagens atuais geralmente utilizam recompensas binárias baseadas no resultado (correto/incorreto para a resposta final). Isso fornece feedback esparso e falha em guiar o processo de tomada de decisão intermediária do modelo. Consequentemente, os SLMs podem aprender a explorar atalhos acidentais ou correlações superficiais para alcançar uma resposta final correta sem realmente aprender políticas de seleção de ferramentas robustas fundamentadas em evidências visuais relevantes.
3. Desempenho Subótimo do GRPO Vanilla: Mesmo com o GRPO vanilla, os SLMs multimodais continuam a produzir um número substancial de chamadas de ferramentas mal utilizadas, indicando que algoritmos de RL padrão são insuficientes para aprender a tomada de decisão matizada necessária para o uso de ferramentas multimodais.

Metodologia: Otimização de Política Consciente da Atribuição de Entrada (IAPO)

Para abordar essas questões, os autores propõem o IAPO, um algoritmo de RL que alinha a atribuição de entrada do modelo estudante com a de um modelo professor mais forte. A ideia central é que a contribuição de componentes específicos da entrada para uma chamada de ferramenta gerada está fortemente correlacionada com a correção da chamada da ferramenta.

Componentes Principais:

1. Pontuações de Gradiente Integrado (IG):

   • O prompt de entrada é decomposto em blocos semânticos: contexto de texto puro ($P$), consulta do usuário ($R$), placeholder de imagem ($I$) e definições de ferramentas ($T$).
   • O método calcula as pontuações de Gradiente Integrado para quantificar o quanto cada bloco semântico contribui para a log-probabilidade da sequência de chamada de ferramenta gerada.
   • Especificamente, para uma sequência de chamada de ferramenta $y'$, a pontuação $s(E)$ é a log-probabilidade sob a política atual. O gradiente desta pontuação em relação aos embeddings de entrada é calculado, e a atribuição ao nível de token é definida como a norma do produto elemento a elemento do gradiente e do embedding ($o_i = \|g_i \odot e_i\|_2$).
   • Essas atribuições ao nível de token são agregadas para produzir pontuações ao nível de bloco ($O_k$) para cada tipo semântico.

2. Penalidade Baseada em Atribuição:

   • Um modelo professor mais forte (por exemplo, um SLM maior ou um modelo treinado com RL) gera pontuações de IG de referência ($\hat{b}$) para a mesma entrada.
   • As pontuações de IG do modelo estudante ($\hat{a}$) são comparadas às do professor usando a divergência de Kullback-Leibler para formar uma penalidade de atribuição: $P_A = D_{KL}(\hat{b} \parallel \hat{a})$.
   • Esta penalidade incentiva o estudante a focar nos mesmos componentes de entrada (por exemplo, definições de ferramentas específicas ou partes da consulta) que o professor considera relevantes.

3. Função de Recompensa Modificada:

   • A recompensa final para uma trajetória $i$ combina a recompensa padrão baseada no resultado ($R_{out}$) com a penalidade de atribuição:
     $$R_{IAPO}^i = R_{out}^i - \lambda P_A^i$$
   • Aqui, $\lambda$ controla a força do alinhamento de atribuição. Este sinal denso guia a política para não apenas maximizar a precisão da tarefa, mas também para alinhar seu processo de decisão interno com os padrões de atribuição do professor.

4. Estrutura de Treinamento:

   • O método utiliza um rollout de dois turnos: o modelo gera chamadas de ferramentas para editar uma imagem, depois raciocina sobre a imagem editada para produzir uma resposta final.
   • O treinamento utiliza o objetivo GRPO, mas utiliza o $R_{IAPO}$ modificado para calcular vantagens relativas ao grupo.

Principais Contribuições

1. Novas Pontuações de Gradiente Integrado: O artigo introduz um método para quantificar a contribuição de diferentes blocos semânticos de entrada (texto, imagem, definições de ferramentas) para a geração de chamadas de ferramentas, fornecendo um sinal de supervisão denso.
2. Algoritmo IAPO: Os autores propõem o primeiro método de RL projetado especificamente para o uso de ferramentas em SLMs que utiliza penalidades baseadas em atribuição. Ao comparar as pontuações de IG do estudante e do professor via divergência KL, o IAPO transfere a capacidade de chamada de ferramentas e a lógica de tomada de decisão do professor para o estudante.
3. Validação Empírica: O artigo demonstra que o GRPO vanilla leva ao uso persistente incorreto de ferramentas em SLMs multimodais. Demonstra ainda que adaptar designs de recompensa de modelos apenas de texto é insuficiente, enquanto o IAPO melhora significativamente o desempenho ao alinhar a atribuição de entrada.

Resultados Experimentais

O método foi avaliado em tarefas de questionamento visual usando o modelo Qwen2.5-VL-3B como política e um Qwen2.5-VL-7B (treinado com GRPO) como professor.

• Ganhos de Desempenho: O IAPO melhorou a precisão do questionamento visual em uma média de 3% em seis conjuntos de teste (incluindo ChartQA, VWTQ e CharXiv) em comparação com o trabalho existente de uso de ferramentas visuais (VTool-R1, TRM, ToRL).
• Precisão de Seleção de Ferramentas: Estudos de caso revelaram que, mesmo após 100 passos de treinamento com GRPO vanilla, o SLM cometia erros significativos de seleção de ferramentas (por exemplo, aplicando ferramentas baseadas em linhas para gráficos divisíveis por colunas). O IAPO reduziu significativamente esses erros, com a taxa de sucesso de chamada de ferramenta do modelo aproximando-se de 100% nos estágios finais de treinamento.
• Alinhamento de Atribuição: O estudo mostrou que as pontuações de IG para partes corretas da entrada aumentaram durante o treinamento e eventualmente superaram as partes usadas incorretamente, correlacionando-se com a redução no uso incorreto de ferramentas. O modelo professor 7B exibiu uma separação mais clara nas pontuações de IG entre entradas corretas e incorretas, validando o uso de um professor mais forte para orientação.
• Generalização: O IAPO demonstrou generalização superior em benchmarks fora da distribuição (CharXiv), sugerindo que o alinhamento de atribuição ajuda a prevenir o overfitting a correlações superficiais de prompts.

Significância e Alegações

O artigo afirma que o IAPO fornece um framework mais eficaz para treinar agentes de SLM multimodais do que os métodos de RL existentes. Sua significância reside em:

• Preencher a Lacuna para SLMs: Ele aborda a dificuldade específica que os SLMs enfrentam ao aprender com recompensas binárias e esparsas, introduzando um sinal de supervisão denso derivado da atribuição de entrada.
• Ir Além das Recompensas Binárias: Ele desafia a dependência de correspondência exata ou recompensas de resultado binário em configurações multimodais, propondo que alinhar como um modelo presta atenção à entrada (atribuição) é crucial para um uso de ferramentas robusto.
• Destilação Professor-Estudante em RL: Ele utiliza com sucesso um modelo professor mais forte não apenas para imitação de saída, mas para guiar o processo de tomada de decisão interno (padrões de atribuição) de um modelo estudante menor durante o treinamento de RL online.

Os autores concluem que, embora modelos maiores exibam naturalmente melhores habilidades de seleção de ferramentas e padrões de atribuição, o IAPO transfere efetivamente essas capacidades para modelos menores, permitindo que eles prestem atenção às evidências de entrada mais relevantes e alcancem desempenho de estado da arte em tarefas de uso de ferramentas multimodais.