💻 computer science

Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning

O artigo propõe o Vision-EKIPL, um novo framework de Aprendizado por Reforço que aprimora as capacidades de raciocínio visual de Modelos de Linguagem de Grande Escala Multimodais ao incorporar ações de alta qualidade de modelos auxiliares externos durante o treinamento, expandindo assim o espaço de exploração, acelerando a convergência e alcançando até 5% de melhoria de desempenho em relação aos métodos mais avançados.

Autores originais: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

Publicado 2026-05-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno muito inteligente (o Modelo de Política) a resolver quebra-cabeças visuais complexos, como contar objetos em uma cena 3D ou descobrir como as formas se movem.

O Problema: A Armadilha da "Câmara de Eco"

Tradicionalmente, quando treinamos esses alunos usando um método chamado Aprendizado por Reforço (RL), pedimos que eles gerem um monte de respostas por conta própria. Em seguida, recompensamos as melhores e punimos as ruins.

O artigo argumenta que isso é como pedir a um aluno que estude para uma prova lendo apenas suas próprias anotações. Eles podem ficar melhores em repetir o que já sabem, mas atingem um "teto". Não conseguem descobrir novas e engenhosas formas de resolver problemas porque estão presos em uma câmara de eco, amostrando ideias apenas de seu próprio cérebro limitado. Isso torna o treinamento lento e limita o quão inteligentes eles podem se tornar eventualmente.

A Solução: Vision-EKIPL (A Abordagem do "Painel de Especialistas")

Os autores propõem um novo framework chamado Vision-EKIPL. Pense nisso como contratar um painel de especialistas externos (como GPT-4 ou Gemini) para ajudar o aluno a estudar.

Veja como funciona, passo a passo:

A Sessão de Estudo em Grupo: Em vez de apenas o aluno gerar respostas, o sistema reúne um grupo de respostas potenciais de duas fontes:
- As próprias tentativas do aluno.
- Respostas de alta qualidade geradas pelos "especialistas externos" (os modelos auxiliares).
A Avaliação: Um professor (a função de recompensa) avalia todas essas respostas. O aluno acertou o número correto de esferas? Eles usaram o formato correto?
A Seleção: O sistema escolhe as respostas de melhor desempenho desse grupo misto. Crucialmente, se um modelo especialista encontrou uma solução engenhosa que o aluno perdeu, essa solução é incluída nas "melhores escolhas".
A Lição: O aluno aprende com esse grupo do "melhor do melhor". Eles não estão apenas aprendendo com seus próprios erros; estão sendo infundidos com o conhecimento e as estratégias de raciocínio dos especialistas.

A Analogia: O Jogador de Xadrez

Imagine um jogador de xadrez tentando melhorar.

Método Antigo (RL Padrão): O jogador joga 100 partidas contra si mesmo, ganha algumas e tenta descobrir o que fez de certo. Ele pode ficar preso jogando as mesmas jogadas seguras e chatas, porque nunca viu uma jogada brilhante e arriscada que poderia ter vencido.
Vision-EKIPL: O jogador joga 10 partidas contra si mesmo, mas também tem a chance de ver 10 partidas jogadas por Grande Mestres. O sistema escolhe as melhores jogadas de ambos, do jogador e dos Grande Mestres. O jogador então estuda essas jogadas de topo. Ele aprende não apenas seu próprio estilo, mas as estratégias brilhantes e complexas dos especialistas, elevando muito mais alto seu próprio teto de habilidade.

O Que o Artigo Encontrou

Os autores testaram esse método em tarefas de raciocínio visual (como contar objetos, entender geometria e rastrear formas em movimento). Eles descobriram:

Resultados Mais Inteligentes: O modelo treinado com Vision-EKIPL resolveu quebra-cabeças melhor do que modelos treinados com métodos padrão, superando o anterior "estado da arte" em cerca de 5%.
Aprendizado Mais Rápido: Como o modelo tem a chance de "ver" boas respostas de especialistas imediatamente, não precisa perder tempo adivinhando. Aprende mais rápido e converge (termina o treinamento) de forma mais eficiente.
Quebrando o Teto: A descoberta mais importante é que esse método realmente expandiu a fronteira de raciocínio do modelo. Enquanto métodos padrão de RL às vezes faziam os modelos menos criativos (aderindo apenas a caminhos seguros e conhecidos), o Vision-EKIPL ajudou o modelo a descobrir novas e complexas formas de resolver problemas que ele não conseguiria encontrar sozinho.

Em Resumo

Vision-EKIPL é um método de treinamento que impede que modelos de IA aprendam no vácuo. Ao misturar suas próprias ideias com ideias de alta qualidade de modelos de IA "especialistas", ensina-os a pensar mais profundamente, resolver quebra-cabeças visuais mais difíceis e aprender muito mais rápido.

Resumo Técnico: Vision-EKIPL

Declaração do Problema

O raciocínio visual é uma capacidade cognitiva crítica para a Inteligência Artificial Geral, essencial para aplicações que vão desde a navegação autônoma até a compreensão de cenas. Embora os Modelos de Linguagem Multimodais (MLLMs) tenham avançado por meio de Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL), as abordagens atuais baseadas em RL (por exemplo, Otimização de Política Relativa em Grupo ou GRPO) enfrentam limitações significativas. Especificamente, esses métodos amostram grupos de ações exclusivamente a partir do próprio modelo de política. Essa amostragem autorreferencial restringe o espaço de exploração do modelo às suas próprias capacidades inerentes, potencialmente levando a uma "fronteira de raciocínio" que não se expande além do modelo base pré-treinado. Além disso, os métodos existentes de RL frequentemente sofrem com taxas de convergência lentas e baixa eficiência de treinamento, pois dependem do modelo para descobrir caminhos de raciocínio complexos sem orientação externa.

Metodologia: Vision-EKIPL

Para abordar essas limitações, os autores propõem o Vision-EKIPL (Aprendizado de Política Infundido com Conhecimento Externo), um novo framework de RL que integra ações de alta qualidade de modelos auxiliares externos ao processo de otimização de política.

Framework Central

O framework opera no princípio de infundir conhecimento externo durante o loop de treinamento de RL para guiar o modelo de política ( $\pi_\theta$ ). O processo envolve as seguintes etapas:

Amostragem de Ações Multi-Fonte:
Ao contrário do GRPO tradicional, que amostra ações apenas da política atual, o Vision-EKIPL amostra um grupo de ações combinado $O$ a partir de:
- O modelo de política atual $\pi_\theta$ .
- $M$ modelos auxiliares externos (por exemplo, GPT-4o, Gemini-1.5-Pro), denotados como $\pi_{\phi_j}$ .
Para um estado dado $s = (x, q)$ (codificação visual e pergunta), o sistema amostra $N$ ações do modelo de política e $N$ ações de cada um dos $M$ modelos auxiliares.
Cálculo de Recompensa:
Todas as ações amostradas são avaliadas usando uma função de recompensa $R(o_i)$ composta por dois componentes:
- Recompensa de Formato ( $R_{format}$ ): Garante que a saída adhere a um formato estruturado (por exemplo, raciocínio dentro de tags <thought> e respostas dentro de tags <answer>).
- Recompensa de Precisão ( $R_{acc}$ ): Atribui uma recompensa positiva se a resposta final estiver correta; caso contrário, zero.
Seleção de Ações de Alta Qualidade:
O pool combinado de ações é classificado pelos valores de recompensa. As top- $G$ ações são selecionadas para formar um grupo de ações de alta qualidade $T$ . Este grupo serve como base de conhecimento "especialista" para a etapa atual de treinamento.
Otimização de Política (GRPO):
O modelo de política é atualizado usando o algoritmo de Otimização de Política Relativa em Grupo (GRPO). A pontuação de vantagem $A_i$ para cada ação no grupo selecionado é calculada em relação à média e ao desvio padrão das recompensas do grupo. Os parâmetros da política $\theta$ são atualizados para maximizar a vantagem esperada, mantendo uma penalidade de divergência KL para permanecer próximo de uma distribuição de referência.

Evolução Dinâmica

O artigo observa uma mudança dinâmica na fonte de ações durante o treinamento. Inicialmente, o modelo de política depende fortemente de ações de modelos externos porque suas próprias capacidades de raciocínio são mais fracas. À medida que o treinamento progride e o modelo de política melhora, a proporção de ações selecionadas a partir do próprio modelo de política aumenta, permitindo que ele aproveite suas próprias estratégias aprendidas, enquanto ainda se beneficia da orientação externa inicial.

Contribuições Principais

Novo Framework de RL: A proposta do Vision-EKIPL, que é o primeiro método a aproveitar ações de alta qualidade de modelos auxiliares externos para guiar a otimização de modelos de política no raciocínio visual.
Fronteira de Raciocínio Expandida: Demonstração de que a incorporação de ações externas amplia efetivamente o espaço de exploração de ações do modelo de política, permitindo que ele descubra caminhos de raciocínio que um único modelo de política poderia ignorar, expandindo assim a fronteira de raciocínio.
Eficiência e Desempenho Aprimorados: Validação por meio de experimentos extensivos de que o framework acelera significativamente a convergência do treinamento e melhora o desempenho geral de raciocínio em comparação com as linhas de base mais avançadas (SOTA).

Resultados Experimentais

Os autores avaliaram o Vision-EKIPL no Benchmark Reason-RFT-CoT, cobrindo três categorias de tarefas: Contagem Visual, Percepção de Estrutura e Transformação Espacial.

Ganhos de Desempenho: O Vision-EKIPL alcançou até uma melhoria de 5% no desempenho sobre os métodos mais avançados (SOTA) no benchmark.
Resultados In-Domain (ID):
- Na Contagem Visual, os métodos baseados em RL (incluindo o Vision-EKIPL) superaram consistentemente os métodos baseados em SFT e os modelos de base nas escalas de 2B e 7B parâmetros.
- Na Transformação Espacial, o Vision-EKIPL alcançou o maior desempenho, superando todos os modelos de base, incluindo modelos proprietários como GPT-4o e Gemini-1.5-Pro em métricas específicas de generalização fora de domínio.
Generalização Fora de Domínio (OOD):
- O Vision-EKIPL demonstrou generalização superior em comparação com os métodos SFT. Por exemplo, no modelo de 7B, superou o ANS-SFT em 19% na Contagem Visual.
- Na Transformação Espacial, o modelo Vision-EKIPL de 2B excedeu o GPT-4o em 34% e o Gemini-1.5-Pro em 47% em tarefas OOD.
Eficiência de Treinamento:
- O Vision-EKIPL demonstrou alta eficiência de dados, alcançando o desempenho do Reason-RFT usando apenas 12% a 25% dos dados de treinamento exigidos pela linha de base.
Análise da Fronteira de Raciocínio:
- A análise Pass@K revelou que, enquanto o RL tradicional (Reason-RFT) acabou ficando atrás do modelo base à medida que $K$ aumentava (sugerindo superexploração de caminhos conhecidos), o Vision-EKIPL manteve desempenho superior em todos os valores de $K$ , confirmando sua capacidade de empurrar a fronteira de raciocínio.

Significado e Alegações

O artigo afirma que o Vision-EKIPL oferece um novo paradigma eficaz para a pesquisa em raciocínio visual, superando as limitações inerentes dos métodos tradicionais de RL. Ao tratar modelos externos como "especialistas" que fornecem alvos de supervisão destilados, o framework permite que o modelo de política aprenda estratégias de raciocínio diversas e novas que, de outra forma, seriam inacessíveis apenas por meio de amostragem própria.

Os autores posicionam essa abordagem como um paradigma híbrido que combina elementos de ajuste fino supervisionado (via destilação de conhecimento de ações externas) e aprendizado por reforço. Eles afirmam que esse método não apenas melhora significativamente o desempenho de raciocínio visual dos MLLMs, mas também acelera substancialmente a convergência do treinamento. Embora a validação principal seja em tarefas de raciocínio visual, os autores sugerem que o framework possui generalidade e poderia, teoricamente, ser aplicado a tarefas linguísticas e outras multimodais.