Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis

Resumo Técnico: Generalização de LMMs para Modalidades Visuais Versáteis via Síntese de Modalidade Fabricada

Definição do Problema
Os atuais Modelos Multimodais de Grande Escala (LMMs) demonstram um forte desempenho em visão RGB, mas têm dificuldade em se generalizar para modalidades visuais não vistas (ex: térmica, profundidade, raio-X). As abordagens existentes dependem tipicamente da escala de dados para incluir modalidades não-RGB específicas durante o treinamento, criando um "gap de generalização" onde os modelos falham em modalidades que não estavam presentes em sua distribuição de treinamento. O desafio central é que os LMMs frequentemente confundem semântica de cena invariante com aparências visuais específicas de uma modalidade, forçando o modelo a aprender novos alinhamentos para cada modalidade distinta, em vez de desenvolver uma compreensão unificada do mundo físico.

Metodologia: VVM-Tuning
Os autores propõem o VVM-Tuning, um framework de treinamento projetado para equipar os LMMs com duas capacidades distintas: Percepção Independente de Modalidade e Compreensão Dependente de Modalidade. Isso é alcançado através de um pipeline de Síntese de Modalidade Fabricada e Contextos de Modalidade.

1. Pipeline de Síntese de Modalidade:

   • Síntese de Imagem: Para criar dados de treinamento diversos sem a necessidade de conjuntos de dados não-RGB reais, os autores fabricam imagens a partir de fontes RGB padrão. Isso envolve converter imagens RGB para tons de cinza, aplicar interpolação de spline cúbica aleatória para ajustar histogramas e mapeá-las para pseudo-cores usando 22 mapas de cores científicos. Adições de aumentos (ruído, desfoque) simulam características de sensores de baixa resolução ou ruidosos.
   • Fabricação de Contexto de Modalidade: Prompts textuais são gerados para descrever o significado físico das modalidades sintetizadas (ex: "cores mais quentes representam temperaturas mais altas"). Para imagens com máscaras de segmentação, os contextos são montados vinculando mapas de cores a objetos; para imagens não anotadas, LLMs são instigados a gerar contextos baseados em exemplos escritos por humanos.

2. Framework de Treinamento (VVM-Tuning):
   O framework utiliza Ajuste Fino Supervisionado (SFT) com dois conjuntos de tarefas destiladas:

   • Percepção Independente de Modalidade: Estas tarefas visam extrair semânticas invariantes e elementos visuais básicos (percepção fotográfica) independentemente da aparência visual.
     • Tarefas Semânticas: O modelo é treinado para extrair semânticas subjacentes compartilhadas entre a imagem RGB original e a imagem fabricada.
     • Tarefas Fotográficas: O modelo extrai pistas visuais únicas (ex: padrões de cores específicos) presentes na imagem fabricada, mas não na descrição semântica.
     • Formato: Inclui tanto descrições de imagens quanto tarefas de VQA (Visual Question Answering).
   • Compreensão Dependente de Modalidade: Estas tarefas ensinam o modelo a conectar as aparências visuais sintetizadas com os atributos físicos definidos no Contexto de Modalidade.
     • O modelo aprende a integrar a descrição semântica, a descrição fotográfica e o contexto específico da modalidade para responder perguntas que exigem conhecimento da modalidade.
     • Isso permite a adaptação zero-shot durante a inferência, utilizando as habilidades de seguimento de instrução e aprendizado em contexto do modelo.

Principais Contribuições

• Nova Abordagem de Generalização: O artigo é o primeiro a explorar a generalização de LMMs para modalidades visuais não vistas sem dados de treinamento da própria modalidade, demonstrando que a síntese de modalidade e o contexto podem preencher esse gap.
• Síntese de Modalidade Fabricada: Um pipeline que gera imagens não-RGB diversas e seus respectivos contextos de modalidade a partir de dados RGB, permitindo a criação de um conjunto de instruções sintéticas geral.
• Estratégia de Treinamento Destilada: Um framework que separa a "percepção independente de modalidade" (extração de semântica compartilhada) da "compreensão dependente de modalidade" (conexão do significado físico com a aparência), evitando o sobre-alinhamento da semântica a aparências RGB específicas.
• VVM-Bench: Um benchmark abrangente apresentando 6 modalidades visuais (3 reais: Térmica, Profundidade, Raio-X; 3 fabricadas: Fluxo Óptico, Sintetizada 1, Sintetizada 2) e 11 tarefas de VQA para avaliar tanto as capacidades de percepção quanto de compreensão.

Resultados Experimentais
O framework foi avaliado em cinco modelos base (LLaVA-1.5, Qwen2.5-VL, Qwen3-VL) através do VVM-Bench.

• Melhorias na Percepção: Modelos treinados com VVM-Tuning mostraram um melhoria média de 8,2% no subconjunto de percepção (tarefas sem contextos de modalidade) em todas as modalidades testadas. Os ganhos mais significativos foram observados em modalidades fabricadas (ex: +22,2% para LLaVA-1.5 em Sintetizada 1).
• Melhorias na Compreensão: Com a inclusão de contextos de modalidade, os modelos alcançaram uma melhoria média de 3,8% no subconjunto de compreensão.
• Generalização: Apesar de serem treinados em dados sintéticos, os modelos demonstraram melhorias consistentes em modalidades do mundo real (Térmica, Profundidade, Raio-X, Fluxo Óptico), confirmando que os princípios subjacentes das modalidades visuais são compartilhados.
• Estudos de Ablação: Os resultados confirmaram que tanto as tarefas de percepção independente de modalidade quanto as tarefas de compreensão dependente de modalidade são necessárias; remover qualquer um dos componentes degradou significativamente o desempenho, com a base de percepção sendo crítica para o aprendizado de adaptabilidade.

Significância e Alegações
Os autores alegam que seu trabalho demonstra um caminho viável para que LMMs alcancem a generalização zero-shot para modalidades visuais versáteis. Ao destilar a semântica invariante da aparência específica da modalidade e utilizar contextos textuais para preencher a lacuna, os LMMs podem reconhecer entidades físicas e compreender atributos específicos da modalidade sem serem explicitamente treinados nessas modalidades específicas.

O artigo postula que esta abordagem oferece uma nova perspectiva sobre a visão de máquina: distinguindo entre a "imagem" (aparência visual) e o "mundo real" (semântica subjacente). Os autores sugerem que os LMMs atuais frequentemente tratam a imagem como a realidade, enquanto seu método incentiva uma separação que permite uma generalização mais ampla. Eles concluem que, com capacidades de percepção e contextos de modalidade suficientes, os LMMs podem se adaptar a modalidades visuais não vistas, e fornecem o VVM-Bench para facilitar pesquisas futuras nesta direção.