Resumo Técnico: Além da Acumulação de Codificadores

Declaração do Problema

À medida que os Modelos de Linguagem-Visão de Grande Escala (LVLMs) escalam para incorporar múltiplas correntes visuais heterogêneas, compreender como diversos codificadores interagem sob treinamento conjunto é crítico para um design principiado. No entanto, os atuais LVLMs carecem de ferramentas robustas para avaliar essas interações. Métodos existentes, como o Mascaramento em Tempo de Inferência (IM) em checkpoints fixos, sofrem de duas limitações primárias:

1. Descompasso Treinamento-Treinamento: Avaliar os papéis dos codificadores mascarando ramos no tempo de inferência afasta-se do pipeline de treinamento real, levando a conclusões não confiáveis sobre as contribuições dos codificadores.
2. Enumeração Incompleta: Nenhum método anterior avaliou o conjunto completo de possíveis subconjuntos de codificadores, tornando difícil identificar configurações paramétricas eficientes antes do treinamento.

Consequentemente, os designers lutam para determinar quais codificadores incluir, muitas vezes dependendo de heurísticas que podem não refletir o verdadeiro cenário de otimização do treinamento conjunto.

Metodologia

Os autores propõem um protocolo de Remoção em Tempo de Treinamento (TR) para reexaminar os papéis dos codificadores. Usando a arquitetura Eagle-X5 (decodificador Vicuna-7B com cinco codificadores de visão: ConvNeXt, EVA-02, CLIP, Pix2Struct e SAM) como plataforma de teste, o estudo:

• Retreina todos os 31 subconjuntos não vazios dos cinco codificadores do zero sob um pipeline unificado.
• Avalia esses 31 modelos no conjunto de 16 benchmarks Cambrian-1 (cobrindo tarefas de General, Knowledge, OCR&Chart e Vision-Centric).
• Contrasta esses resultados com os resultados de Mascaramento em Tempo de Inferência (IM) de trabalhos anteriores (Wang et al.) para destacar as discrepâncias entre contrafatuais de tempo de inferência e realidades de tempo de treinamento.
• Decompõe as contribuições dos codificadores em dois eixos: Capacidade e Necessidade.
• Analisa o rank efetivo pré-projetor de cada codificador para entender os sinais de nível de representação independentemente da contagem de parâmetros.

Principais Contribuições

1. Protocolo de Atribuição: Remoção em Tempo de Treinamento (TR) vs. Mascaramento em Tempo de Inferência (IM)

O estudo estabelece que o IM e o TR produzem rankings sistematicamente diferentes.

• Discrepância de Ranking: Sob IM, o EVA-02 ocupa o primeiro lugar; sob TR (verdade fundamental), o ConvNeXt ocupa o primeiro lugar.
• Estabilidade: O TR exibe uma variância de contexto menor do que o IM para a maioria dos codificadores, sugerindo que o retreinamento de subconjuntos fornece uma medição mais estável das contribuições individuais.
• Impacto no Design: A escolha do protocolo altera as recomendações práticas. Por exemplo, a heurística baseada em IM sugere um par superior de ConvNeXt+EVA-02, enquanto o par ideal baseado em TR é CLIP+ConvNeXt.

2. Decomposição Capacidade–Necessidade

Os autores introduzem um framework de dois eixos para desmembrar os papéis dos codificadores:

• Capacidade: A pontuação que um codificador alcança por conta própria (desempenho singleton) em relação ao pool total.
• Necessidade: A queda de desempenho quando um codificador é removido do pool total (queda leave-one-out).
• Descobertas: Esses eixos não são intercambiáveis. Parear os dois codificadores de maior Capacidade é subótimo. Em vez disso, a estratégia ideal é parear um Núcleo Universal (alta Capacidade, alta Necessidade) com um Complemento Adaptativo (Capacidade moderada, baixa Necessidade, mas com expansão de rank sob treinamento conjunto).
• Taxonomia: Esta decomposição gera uma taxonomia de cinco classes:
  • Núcleo Universal: ConvNeXt (forte em todas as famílias).
  • Complemento Adaptativo: CLIP (o rank expande sob treinamento conjunto).
  • Especialista em Visão: EVA-02.
  • Especialista de Nicho: Pix2Struct (OCR&Chart).
  • Substituível: SAM.

3. Mecanismo de Nível de Representação: Rank Efetivo

Para uma contagem de parâmetros fixa, a variação residual de pontuação é explicada pelo rank efetivo pré-projetor.

• Três Regimes:
  1. Singleton: A pontuação é prevista pelo rank efetivo do próprio codificador.
  2. Pares: A pontuação é prevista pela mudança no rank do complemento sob treinamento conjunto ($\Delta$rank). O melhor par (CLIP+ConvNeXt) combina um âncora cujo rank sobrevive intacto com um complemento cujo rank se expande.
  3. Pool Total: A pontuação satura quando o rank médio por codificador para de crescer, indicando uma restrição de orçamento do projetor compartilhado.
• Implicação: Inputs de projetor com rank mais alto e menos colapsados correspondem a um regime de otimização mais favorável na interface codificador–projetor.

Resultados

• Retornos Decrescentes: Adicionar codificadores gera retornos fortemente decrescentes. Um modelo de dois codificadores bem escolhido (CLIP+ConvNeX) recupera 97% da pontuação do modelo total de cinco codificadores. O terceiro e o quarto codificadores contribuem com ganhos negligenciáveis, com apenas o quinto recuperando uma pequena margem para tarefas de Vision-Centric.
• Pareamento Ótimo: O melhor par é CLIP + ConvNeXt, não o par dos dois codificadores de maior Capacidade (ConvNeXt + EVA-02). Este par fecha 97% da lacuna entre um codificador CLIP único e o pool total.
• Saturação por Tarefa:
  • OCR&Chart e General saturam com dois codificadores.
  • Vision-Centric continuam a se beneficiar até o pool total de cinco codificadores.
  • Knowledge são dominadas pelo prior do LLM, tornando as contribuições visuais dos codificadores mínimas.
• Rank vs. Parâmetros: A contagem de parâmetros é um preditor grosseiro. Codificadores com contagens de parâmetros semelhantes (ex: CLIP, EVA-02, SAM) mostram amplas variações de rank efetivo e pontuações singleton. O rank efetivo é um descritor mais preciso da qualidade da representação.

Significância e Alegações

O artigo afirma expor um gap metodológico no design de LVLMs de múltiplos codificadores, especificamente a dependência de aproximações de checkpoint fixo (IM) em vez de contrafatuais de tempo de treinamento.

• Orientação Prática: O estudo oferece primitivas concretas para o design de pools compactos: selecione uma âncora de alta Capacidade e um Complemento Adaptativo cujo rank se expande sob treinamento conjunto, em vez de simplesmente selecionar os codificadores individuais mais fortes.
• Implicações de Destilação: As descobertas sugerem que destilar um codificador "Substituível" é de baixo risco, mas destilar um "Complemento Adaptativo" é desafiador porque sua contribuição depende de interações dinâmicas codificador–projetor (expansão de rank) que um estudante congelado não consegue reproduzir.
• Relevância Futura: À medida que os modelos de fundação para modelagem de mundo e IA física fundem múltiplas correntes heterogêneas, os autores argumentam que o retreinamento de enumeração total se tornará inviável. A decomposição Capacidade–Necessidade e a análise de rank propostas fornecem um framework para estimar essas propriedades com o mínimo de retreinamento, potencialmente via surrogates leves baseados na geometria pré-projetor.

Os autores permanecem modestos, observando que a heurística "Âncora com Complemento de Expansão de Rank" é descritiva para o pool Eagle-X5 e requer validação adicional como uma regra genérica para pools não vistos.