Resumo Técnico: Aprender a Pensar (VISTA)

Declaração do Problema

O pós-treinamento de Modelos de Linguagem Multimodais Grandes (MLLMs) com traços de raciocínio explícitos (Cadeia de Pensamento) provou ser eficaz para aprimorar as capacidades de raciocínio. No entanto, a aquisição de traços de raciocínio de alta qualidade é custosa e demorada, levando à adoção de paradigmas de autoaperfeiçoamento onde os modelos geram seus próprios dados de treinamento. Apesar de sua eficácia, os autores identificam duas deficiências críticas no treinamento atual de autoaperfeiçoamento de MLLMs:

1. Desequilíbrio de Dados: Consultas simples geram numerosos traços de raciocínio corretos, enquanto consultas desafiadoras, porém cruciais, frequentemente falham em produzir soluções corretas suficientes. Métodos padrão de autoaperfeiçoamento descartam tentativas falhas inteiramente, desperdiçando informações parciais potencialmente úteis.
2. Viés de Prioridade Linguística: MLLMs tendem a confiar excessivamente em priores linguísticos, negligenciando pistas visuais. Isso leva a alucinações visuais (por exemplo, descrever objetos inexistentes ou cadeias de raciocínio conflitantes) que resultam em respostas finais corretas, mas em raciocínios intermediários falhos. Métodos de filtragem atuais baseados apenas na correção da resposta não conseguem detectar essas soluções alucinadas.

Metodologia: Framework VISTA

Para abordar essas questões, os autores propõem o VISTA (Treinamento de Autoaperfeiçoamento Consciente de Visão), um framework que compreende duas estratégias inovadoras:

1. Estratégia de Reamostragem de Prefixo

Projetada para aliviar o desequilíbrio de dados reutilizando informações parciais de soluções falhas:

• Mecanismo: Em vez de descartar soluções incorretas ($D_n$), o método identifica "tokens críticos" onde a trajetória de raciocínio se desvia. Ele aproveita a capacidade de auto-calibração do modelo trocando a ordem dos tokens visuais e de instrução na entrada (por exemplo, de "Imagem + Instrução" para "Instrução + Imagem") e regenerando previsões de tokens.
• Execução: O primeiro token no traço falho original que não corresponde às 5 previsões principais do contexto perturbado é identificado como o token crítico. O traço de raciocínio é truncado nesse ponto, e o prefixo válido é reutilizado como contexto para reamostrar novas soluções ($J$ vezes).
• Resultado: Isso coleta eficientemente mais soluções corretas para consultas difíceis, salvando os passos iniciais de raciocínio corretos de tentativas falhas.

2. Pontuação de Atenção Consciente de Visão (VAS)

Projetada para mitigar o viés de prioridade linguística e filtrar soluções alucinadas:

• Mecanismo: O método quantifica o foco do modelo em informações visuais durante o raciocínio analisando pontuações de atenção internas de uma camada intermediária do modelo.
• Cálculo: Para uma solução correta, a alocação de atenção ($\lambda$) é medida para tokens de sistema, tokens visuais e tokens de instrução. O VAS é calculado como a proporção normalizada da atenção atribuída aos tokens visuais em relação à atenção total em todos os contextos.
• Filtragem: Soluções com pontuações VAS abaixo de um limite específico ($\tau$) são filtradas. Isso garante que o conjunto de dados de treinamento priorize soluções onde o modelo realmente atende a pistas visuais, reduzindo o risco de treinar sobre raciocínio alucinado que acaba por produzir a resposta correta.

O framework integra essas estratégias em pipelines padrão de pós-treinamento, incluindo Ajuste Fino Supervisionado (SFT) e Aprendizado de Preferência (DPO/GRPO).

Principais Contribuições

1. Identificação do Problema: O artigo revela empiricamente que o autoaperfeiçoamento de MLLMs sofre de desequilíbrio de dados (subtreinamento em consultas difíceis) e viés de prioridade linguística (alucinações visuais mascaradas por respostas corretas).
2. Framework VISTA: Propõe um framework de autoaperfeiçoamento que não requer supervisão externa ou traços de raciocínio de verdade absoluta. Utiliza Reamostragem de Prefixo para maximizar a eficiência de dados em consultas difíceis e VAS para garantir a qualidade dos dados filtrando alucinações visuais.
3. Generalizabilidade: Demonstra que essas estratégias são agnósticas ao modelo e aplicáveis a vários MLLMs (por exemplo, Qwen2.5-VL, InternVL) e paradigmas de pós-treinamento (SFT, DPO, GRPO).

Resultados Experimentais

Extensos experimentos foram conduzidos em cinco MLLMs em cinco benchmarks de raciocínio multimodal (SLAKE, VQA-Rad, Geometry3K, ScienceQA, ChartQA).

• Ganhos de Desempenho: O VISTA supera significativamente os métodos de autoaperfeiçoamento de linha de base (por exemplo, STaR, ReSTEM, R3V). Para o modelo Qwen2.5-VL-3B-Instruct, o VISTA alcançou um ganho médio de desempenho de +13,66% sobre o modelo semente inicial.
• Robustez: O método previne efetivamente o "colapso do modelo" (degradação de desempenho devido ao sobreajuste em dados simples) observado em outros métodos iterativos de auto-treinamento, particularmente em tarefas difíceis como Geometry3K.
• Redução de Alucinações: Modelos treinados com VISTA mostram redução de alucinações visuais no benchmark IllusionBench em comparação com as linhas de base.
• Generalização Fora de Distribuição (OOD): Modelos treinados com VISTA demonstram melhor generalização em conjuntos de dados OOD (PathVQA, MathVista, MMMU), enquanto métodos de linha de base frequentemente sofrem quedas de desempenho à medida que as iterações de treinamento aumentam.
• Compatibilidade: A abordagem é compatível com métodos em tempo de inferência como Autoconsistência, resultando em melhorias adicionais de desempenho quando combinada.

Significado e Alegações

O artigo afirma que o VISTA oferece uma solução simples, porém eficaz para as limitações do treinamento atual de autoaperfeiçoamento em MLLMs. Ao ir além da correção da resposta como único sinal de qualidade, o VISTA garante a diversidade e a confiabilidade dos dados de auto-treinamento. Os autores enfatizam que seu método:

• Desbloqueia as capacidades internas de raciocínio de MLLMs sem exigir traços de raciocínio externos caros.
• Aborda diretamente as causas raiz das alucinações visuais em traços de raciocínio.
• Fornece um caminho escalável para melhorar o raciocínio multimodal em vários tamanhos de modelo e tarefas, alcançando resultados state-of-the-art entre as linhas de base de autoaperfeiçoamento.

Os autores observam limitações, incluindo restrições potenciais à diversidade de trajetórias se tokens críticos aparecerem tardiamente na cadeia de raciocínio e a avaliação atual em modelos de escala relativamente pequena (3B-8B), deixando a validação em escala maior para trabalhos futuros.