💻 computer science

When More Foundation Models Means Less: Diagnosing and Addressing Multi-View Fusion Failure

Este artigo identifica que a fusão indiscriminada de múltiplos modelos de fundação frequentemente degrada o desempenho devido à redundância e ao desalinhamento, e propõe o KAGES, um método de seleção gulosa eficiente e consciente de rótulos que otimiza a composição do conjunto de visões para alcançar uma acurácia descendente superior com um subconjunto de codificadores compacto e alinhado à tarefa.

Autores originais: Yibo Liu, Bowen Jiang

Publicado 2026-08-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yibo Liu, Bowen Jiang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era moderna da inteligência artificial, os pesquisadores têm acesso a uma vasta biblioteca de programas de computador pré-treinados, frequentemente chamados de modelos de fundação. Estes são sistemas massivos que já aprenderam a reconhecer padrões, compreender a linguagem ou interpretar imagens ao estudar quantidades enormes de dados. Pense neles como ferramentas especialistas que foram afiadas, mas que ainda não foram aplicadas a um trabalho específico. Durante anos, a abordagem padrão para resolver um novo problema com essas ferramentas era combinar o maior número possível delas, operando sob a suposição de que mais informação sempre leva a melhores resultados. A lógica era simples: se uma ferramenta vê uma imagem de uma maneira e outra a vê de uma maneira diferente, colocá-las juntas deve criar uma visão perfeita e abrangente. Essa ideia, conhecida como aprendizado multivista (multi-view learning), tem sido por muito tempo um pilar de como os cientistas tentam construir sistemas mais inteligentes ao fundir diferentes fontes de informação.

No entanto, um novo estudo desafia essa crença fundamental. Pesquisadores da Universidade de Postos e Telecomunicações de Pequim descobriram que, quando você começa a misturar um grande número desses especialistas pré-treinados, adicionar mais não torna necessariamente o resultado final melhor. Na verdade, após um certo ponto, adicionar outra ferramenta pode, de fato, tornar o sistema pior. A equipe descobriu que o melhor desempenho é geralmente alcançado selecionando um grupo pequeno e específico desses modelos, em vez de usar uma coleção grande e desordenada. Eles observaram que, embora os primeiros modelos adicionados à mistura forneçam insights novos e úteis, as adições subsequentes costumam repetir informações que o sistema já possui ou introduzir sinais confusos que não têm nada a ver com a tarefa em questão. Esse fenômeno cria uma curva onde o desempenho sobe rapidamente, atinge um pico e depois começa a cair à medida que mais modelos são forçados na mistura.

Para resolver este problema, os pesquisadores desenvolveram um novo método chamado KAGES, que atua como um seletor inteligente para esses modelos de IA. Em vez de fundir cegamente todas as ferramentas disponíveis, o KAGES avalia cuidadosamente quais modelos específicos devem ser combinados e quantos devem ser usados. Ele funciona medindo quão bem a informação combinada de um grupo de modelos se alinha com as respostas corretas para uma tarefa específica, sem a necessidade de treinar um novo sistema para testá-los primeiro. O método adiciona avidamente o próximo melhor modelo que oferece a informação mais nova e útil, evitando aqueles que simplesmente repetem o que já é conhecido ou adicionam ruído. Essa abordagem permite que o sistema pare de adicionar modelos exatamente quando a informação extra deixa de ser útil, garantindo que a combinação final seja compacta e altamente eficaz.

A equipe testou essa ideia em uma ampla variedade de tarefas, incluindo o reconhecimento de objetos em imagens, identificação de texturas e até mesmo a compreensão de linguagem. Em todos os casos, eles descobriram que a suposição de que "mais é melhor" falhou. Em algumas tarefas, o desempenho atingiu o pico após a combinação de apenas três ou quatro modelos, e adicionar mais causou uma queda na precisão. Por exemplo, em uma tarefa envolvendo o reconhecimento de sinais de trânsito, o sistema teve o melhor desempenho com um conjunto muito pequeno de modelos, enquanto em uma tarefa de geolocalização, um único modelo já era tão bom que adicionar outros não trazia benefícios e, às vezes, prejudicava o desempenho. Os pesquisadores também observaram que o número ideal de modelos muda dependendo de quanta informação de dados está disponível; com mais dados, o sistema pode lidar com alguns modelos a mais antes que o desempenho comece a declinar, mas o pico é sempre alcançado com um número surpreendentemente pequeno.

Os resultados mostraram que o KAGES superou consistentemente outros métodos, incluindo aqueles que tentavam combinar todos os modelos disponíveis ou aqueles que simplesmente escolhiam modelos que eram diferentes entre si. Ao focar na qualidade da combinação, em vez da quantidade, o KAGES foi capaz de encontrar o ponto ideal onde os modelos trabalham juntos de forma mais eficaz. Em muitos casos, ele teve um desempenho quase tão bom quanto um seletor teórico perfeito, que teria que testar todas as combinações possíveis para encontrar a melhor, mas o fez muito mais rápido e sem precisar treinar novos sistemas para cada teste. Essa descoberta sugere que o futuro da construção de sistemas de IA poderosos não reside em acumular mais ferramentas, mas na seleção cuidadosa e inteligente das certas. À medida que a biblioteca de modelos de IA disponíveis continua a crescer, a capacidade de escolher a pequena equipe perfeita de especialistas tornar-se-á mais importante do que nunca, transformando o desafio de gerir vastos recursos em uma oportunidade de precisão e eficiência.

Resumo Técnico: Quando Mais Modelos de Fundação Significa Menos

Definição do Problema: Composição de Conjunto de Visões em Grandes Pools

O aprendizado multi-view tradicional opera sob a premissa de um conjunto pequeno e predefinido de visões complementares (por exemplo, de diferentes sensores ou características construídas à mão) que melhora a representação discriminativa. No entanto, a proliferação de modelos de fundação pré-treinados expandiu fundamentalmente o espaço de candidatos de visões. No cenário de codificadores congelados (frozen-encoder), cada modelo pré-treinado induz uma visão de representação distinta, criando um grande e heterogêneo pool de codificadores que abrangem diversas arquiteturas, objetivos de pré-treinamento e modalidades.

Essa mudança transforma o problema de design de simplesmente fundir um conjunto fixo de visões para a composição de conjunto de visões (view-set composition): determinar quais codificadores combinar de um grande pool e quantos incluir. Observações empíricas revelam que o desempenho downstream não melhora monotonicamente com o número de codificadores fundidos. Em vez disso, o desempenho tipicamente atinge um pico após a inclusão de um pequeno subconjunto e, subsequentemente, declina. Esse fenômeno de "pico e declínio" é impulsionado por dois modos de falha:

Redundância de Representação: Novos codificadores repetem informações já capturadas pelo conjunto atual.
Desalinhamento entre Tarefa e Modelo: Novos codificadores introduzem pistas irrelevantes para a tarefa, onde a diversidade por si só não equivale à eficácia.

Estratégias de seleção existentes são insuficientes para este regime. Pontuações de transferibilidade por codificador ignoram interações entre codificadores; critérios baseados em diversidade priorizam a diferença em detrimento da utilidade da tarefa; e a busca exaustiva por subconjuntos é computacionalmente inviável para grandes pools. O artigo postula que a composição de conjunto de visões é um problema de ordenação: uma ordenação de alta qualidade deve priorizar codificadores úteis para que seus prefixos forneçam conjuntos fundidos competitivos sob variados orçamentos de computação.

Metodologia: KAGES (Kernel-Alignment Greedy Encoder Selector)

Para abordar a necessidade de um critério de seleção de nível de conjunto que não requeira treinamento, os autores propõem o KAGES. O KAGES é um seletor guloso (greedy) consciente de rótulos que constrói uma ordenação de codificadores sem exigir o treinamento de classificadores downstream ou busca combinatória de subconjuntos.

Objetivo Central

O KAGES define a utilidade de um conjunto fundido $S$ com base no alinhamento entre seu kernel de representação e o kernel de rótulos. Especificamente, ele utiliza o Alinhamento de Kernel-Alvo Centrado (CKA).

Função de Utilidade: $J(S) = U(\bar{F}_S, Y) - \tau \sum_{s \in S} \frac{d_s}{n}$ , onde $U$ é o CKA entre o kernel de representação conjunta $K_S$ e o kernel de rótulos $K_Y$ . O segundo termo é uma penalidade de complexidade opcional baseada na dimensão do codificador $d_s$ .
Aditividade: Sob fusão de kernel linear (concatenação de características), o kernel fundido é aditivo ( $K_S = \sum K_s$ ). Isso permite que o KAGES avalie ganhos marginais diretamente no nível do kernel ( $O(n^2)$ por etapa) sem retreinar os modelos para cada subconjunto candidato.

Mecanismo de Seleção

O KAGES opera de forma gulosa:

Inicializa um conjunto vazio $S$ .
Em cada etapa, avalia todos os codificadores candidatos $m \notin S$ por seu ganho marginal na utilidade do conjunto: $\Delta J(m | S) = J(S \cup \{m\}) - J(S)$ .
Seleciona o codificador com o maior ganho marginal e o adiciona a $S$ .
Repete até que todos os candidatos sejam ordenados.

O critério de ganho marginal admite uma interpretação de relevância-redundância. O algoritmo favorece candidatos que estão bem alinhados com os rótulos (relevância) enquanto exibem sobreposição de kernel limitada com os codificadores já selecionados (redundância). Crucialmente, o peso da redundância é adaptativo, determinado pelo alinhamento e massa do conjunto atual, em vez de ser fixo a priori.

Garantias Teóricas

O artigo fornece uma garantia teórica condicional. Se a utilidade de alinhamento for monótona e satisfizer uma condição de razão de submodularidade ( $\gamma$ ), o prefixo guloso de tamanho $k$ atinge uma aproximação de $(1 - e^{-\gamma})$ do subconjunto ótimo de tamanho $k$ . Além disso, o artigo estabelece um mecanismo de "cruzamento único de ganho-custo" (Teorema 1) que explica o pico dependente da ordem: conforme os codificadores são adicionados, os ganhos marginais diminuem enquanto os custos de amostra finita se acumulam, eventualmente causando o declínio do desempenho.

Principais Contribuições

Novo Enquadramento: Recategoriza a fusão de modelos de fundação congelados em grandes pools como aprendizado multi-view em escala, formulando a composição de conjunto de visões como um problema central de design.
Caracterização Teórica: Fornece um relato de utilidade marginal para a falha da suposição de que "mais é melhor", identificando um cruzamento de ganho-custo que leva a picos de desempenho dependentes da ordem e declínios subsequentes.
Método de Seleção Escalável (KAGES): Introduz um seletor livre de treinamento e consciente de rótulos que avalia candidatos via alinhamento de kernel marginal. Ele evita o ajuste repetido de modelos downstream e oferece garantias de aproximação de prefixo condicionais.
Validação Empírica Abrangente: Valida a abordagem em cinco regimes de reconhecimento (objeto genérico, detalhado, textura, geoespacial, símbolo estruturado) usando um pool de 10–15 codificadores congelados abrangendo cinco paradigmas de pré-treinamento (supervisionado por linguagem, auto-supervisionado, generativo, supervisionado por classe, especialista de tarefa).

Resultados Experimentais

Os autores avaliaram o KAGES em cinco regimes de reconhecimento (objeto genérico, detalhado, textura, geoespacial, símbolo estruturado) usando um pool de 10–15 codificadores congelados abrangendo cinco paradigmas de pré-treinamento (supervisionado por linguagem, auto-supervisionado, generativo, supervisionado por classe, especialista de tarefa).

Desempenho: O KAGES superou consistentemente os métodos concorrentes, incluindo fusão total (Fuse-All), ordenação aleatória, seleção baseada em diversidade e baselines de seleção de subconjunto mais fortes (DPP, Submodular).
Métricas: Medido por AULC (Área Sob a Curva de Acurácia de k) e Acc@k* (acurácia de pico). O KAGES alcançou o maior AULC em todos os protocolos (16-shot, 8-shot com pool maior e dados completos).
Ganhos Específicos: Na tarefa de símbolos estruturados (GTSRB), o KAGES melhorou em relação à fusão total em +8.9 a +15.5 pontos. Em protocolos de dados completos, liderou a fusão total em uma média de +3.3 pontos.
Comportamento: O KAGES conseguiu "antecipar" (front-load) codificadores de alta utilidade (frequentemente modelos auto-supervisionados como DINOv2 ou modelos supervisionados por classe como ResNet-50) e rejeitar corretamente paradigmas adversários (modelos generativos e especialistas de tarefa) que não se alinham com a tarefa de classificação.
Generalização: O padrão de pico-e-declínio e a superioridade do KAGES foram observados em recuperação de imagens e fusão de LLM congelados (MMLU e ARC-Challenge), confirmando a aplicabilidade do método além da classificação de imagens padrão.

Significância e Alegações

O artigo argumenta que o aprendizado multi-view eficaz sobre pools de modelos de fundação depende não de fundir mais codificadores, mas de selecionar um conjunto compacto e complementar de visões. Os autores alegam que, à medida que os hubs públicos de modelos crescem, a questão central do aprendizado multi-view muda de "como fundir poucos fixos" para "quais codificadores fundir".

O KAGES fornece uma resposta livre de treinamento e fundamentada em teoria para essa questão. Ao aproveitar o alinhamento de kernel, ele oferece um critério escalável de nível de conjunto que produz ordenações de codificadores de alta qualidade sem o custo computacional de treinar preditores downstream para cada subconjunto candidato. O trabalho sugere que a suposição de que "mais é melhor" é estruturalmente falha na era dos modelos de fundação e que a composição explícita de conjuntos de visões é necessária para desbloquear o potencial de pools de codificadores heterogêneos.