Resumo Técnico: Framework Once-For-All (OFA) para Ajuste Fino de Instruções Multimodais

1. Declaração do Problema

O ajuste fino de instruções multimodais tornou-se o paradigma padrão para adaptar Modelos Visão-Linguagem (VLMs) a tarefas downstream. No entanto, conjuntos de dados de instruções em grande escala (por exemplo, LLaVA-665K, Vision-Flan) são frequentemente massivos, redundantes e, ocasionalmente, contêm amostras anotadas incorretamente. Embora existam métodos de seleção de dados para melhorar a eficiência do treinamento, as abordagens atuais sofrem de duas limitações críticas:

1. Custo Computacional: Métodos baseados em gradiente exigem o cálculo de gradiente por amostra sobre todo o conjunto de candidatos, o que é proibitivamente caro.
2. Falta de Reutilizabilidade: Métodos baseados em pontuação e impulsionados por complexidade estão fortemente acoplados ao modelo-alvo específico ou ao conjunto de dados utilizado durante a geração do sinal. Consequentemente, sempre que a arquitetura do modelo-alvo ou o conjunto de dados candidato muda, os critérios de seleção devem ser recalculados do zero, frequentemente a um custo comparável ao próprio treinamento.

Isso cria um gargalo onde a seleção de dados é impraticável em cenários dinâmicos do mundo real, onde conjuntos de dados e modelos mudam frequentemente.

2. Metodologia: O Framework Once-For-All (OFA)

OFA propõe um framework "treine uma vez, selecione a qualquer momento" que desacopla o processo de seleção de dados do VLM-alvo. A ideia central é que um seletor reutilizável pode ser treinado em um espaço de representação congelado para identificar amostras informativas com base em sua dificuldade ou ambiguidade inerente, independentemente do modelo que está sendo ajustado.

O framework opera em três etapas principais:

A. Representação Multimodal e Agrupamento

• Codificação Congelada: Todos os pares imagem-instrução são codificados usando um modelo CLIP congelado (ViT-B/32). A imagem e o texto são codificados separadamente e concatenados para formar um vetor de características multimodais conjunto, que é então normalizado em $\ell_2$.
• Agrupamento: O agrupamento K-Means é aplicado a essas características congeladas para particionar os dados em $K$ clusters semânticos. Isso expõe a estrutura semântica subjacente do conjunto de dados sem envolver qualquer VLM-alvo.

B. Pseudo-rótulos Baseados em Cluster e Treinamento do Seletor

• Construção do Conjunto Central: Um "conjunto central" ($D_{core}$) é formado selecionando amostras dentro de um raio específico ($\gamma$) de seus centróides de cluster. Essas amostras recebem pseudo-rótulos correspondentes aos seus índices de cluster.
• Seletor Leve: Uma rede neural leve (o seletor) é treinada em $D_{core}$ para prever os pseudo-rótulos de cluster. Crucialmente, este seletor é treinado por apenas poucas épocas (por exemplo, 3) e é deliberadamente parado antecipadamente antes da convergência.
• O Sinal: Os autores hipotetizam que um seletor parcialmente treinado ficará rapidamente confiante em amostras "típicas" (redundantes/fáceis), mas permanecerá incerto em amostras "atípicas" (informativas/difíceis).

C. Seleção de Baixa Confiança

• Pontuação: O seletor treinado é congelado e aplicado a todo o conjunto de dados candidato. Para cada amostra, o seletor gera uma pontuação de confiança definida como a probabilidade máxima da classe ($F(x_i) = \max_c p_{i,c}$).
• Filtragem: Amostras com baixa confiança (abaixo de um limiar por cluster $\tau_k$) são retidas como o subconjunto informativo, enquanto amostras de alta confiança (redundantes) são descartadas.
• Transferibilidade: Como o seletor depende exclusivamente da representação CLIP congelada e não dos gradientes ou parâmetros do VLM-alvo, o mesmo seletor congelado pode ser aplicado a:
  1. Conjuntos de Dados Inéditos: Conjuntos de dados não presentes durante o treinamento do seletor.
  2. Arquiteturas Inéditas: Modelos-alvo de diferentes escalas e arquiteturas.

3. Principais Contribuições

1. Framework OFA: Um framework de seleção de dados que treina um seletor reutilizável uma única vez em um espaço de representação congelado, eliminando a necessidade de recálculo quando conjuntos de dados ou modelos-alvo mudam.
2. Sinal Transferível: Identificação de baixa confiança do seletor em representações CLIP congeladas como um sinal generalizável para a informatividade da amostra. Este sinal depende apenas da distribuição dos dados, não do modelo-alvo.
3. Validação Empírica: Demonstração de que um único subconjunto selecionado, derivado de um conjunto de dados (LLaVA-665K), ajusta eficazmente tanto o conjunto de dados de origem quanto conjuntos de dados inéditos (Vision-Flan-186K) e diferentes arquiteturas (Qwen2.5-VL-3B, LLaVA-v1.5-7B) sem re-seleção.

4. Resultados Experimentais

Os experimentos foram conduzidos em LLaVA-665K e Vision-Flan-186K, ajustando VLMs em 15% dos dados em comparação com baselines de dados completos.

• Desempenho no Conjunto de Dados de Origem (LLaVA-665K):

  • O OFA alcançou 98,3% do desempenho de dados completos em 10 benchmarks, superando baselines de última geração como PreSel, CoIDO e XMAS.
  • Notavelmente, o OFA superou o modelo de dados completos em benchmarks de alucinação (POPE: 87,5 vs. 86,4), sugerindo que as amostras de baixa confiança selecionadas suprimem efetivamente as alucinações.

• Transferência entre Conjuntos de Dados (Vision-Flan-186K):

  • Um seletor treinado apenas em LLaVA-665K foi aplicado diretamente ao Vision-Flan-186K sem retreinamento.
  • O OFA alcançou 110,6% de desempenho relativo em comparação com o treinamento de dados completos no Vision-Flan, superando todas as baselines e o próprio modelo de dados completos. Isso indica a presença de ruído/redundância significativa no Vision-Flan que o OFA filtrou com sucesso.

• Transferência entre Arquiteturas:

  • Um subconjunto selecionado de LLaVA-665K foi usado para ajustar finamente o Qwen2.5-VL-3B, um modelo estruturalmente diferente.
  • O OFA alcançou 102,1% de desempenho relativo, superando tanto a seleção aleatória quanto o treinamento com dados completos para esta arquitetura.

• Eficiência:

  • O OFA reduziu significativamente o custo computacional total. Enquanto o ajuste fino completo exigiu 76,0 horas de GPU, o OFA (incluindo seleção e ajuste fino) exigiu apenas 20,0 horas de GPU.
  • O próprio processo de seleção levou apenas 9,0 horas de GPU, significativamente mais rápido que métodos como Self-Filter (73,5 horas de GPU) e COINCIDE (55,5 horas de GPU).

5. Significado e Alegações

O artigo afirma que o OFA aborda uma limitação prática fundamental no ajuste fino de instruções multimodais: a não reutilizabilidade dos sinais atuais de seleção de dados. Ao desacoplar o processo de seleção do modelo-alvo, o OFA fornece uma solução única e reutilizável que é eficaz em diversos conjuntos de dados e arquiteturas de modelos.

Os autores enfatizam que o sinal de "baixa confiança" derivado de um seletor deliberadamente subtreinado em características CLIP congeladas generaliza para distribuições de dados e arquiteturas nunca vistas durante o treinamento. Essa abordagem "Once-For-All" transforma a seleção de dados de um cálculo custoso, por tarefa, em um investimento único, permitindo o treinamento eficiente e robusto de VLMs em ambientes com recursos limitados ou dinâmicos.