💻 computer science

Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation

Este artigo introduz o Prompted Information Bottlenecks (PIB), um framework de adaptação eficiente em parâmetros para modelos fundacionais de visão congelados que aproveita o princípio do Information Bottleneck para otimizar a alocação de informação camada a camada, alcançando assim generalização e robustez superiores em 34 conjuntos de dados diversos ao ajustar apenas 0,35% dos parâmetros.

Autores originais: Yuqi Li, Xi Xiao, Yunbei Zhang, Lin Zhao, Yu Li, Aiden Zhao, Tianyang Wang, Hao Xu, Yingli Tian

Publicado 2026-07-27

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuqi Li, Xi Xiao, Yunbei Zhang, Lin Zhao, Yu Li, Aiden Zhao, Tianyang Wang, Hao Xu, Yingli Tian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô gigante e superinteligente que já leu todos os livros e viu todas as imagens da internet. Esse cérebro é um "modelo de fundação", um especialista pré-treinado que sabe reconhecer coisas. Mas há um porém: você não pode retreinar o cérebro inteiro do zero porque ele é grande demais e caro. Em vez disso, você quer ensinar a ele um novo truque específico — como detectar um pássaro raro ou identificar um tipo específico de exame médico — sem estragar todo o conhecimento que ele já possui. Isso é chamado de "adaptação".

Para fazer isso, cientistas usam um atalho inteligente chamado "Prompt Tuning". Pense no cérebro do robô como uma longa linha de montagem com muitas estações (camadas). Em vez de mudar os trabalhadores em cada estação, você apenas adiciona alguns pequenos post-its (chamados "prompts") no início da linha. Esses post-its dizem ao cérebro: "Ei, procure por penas de pássaro, não apenas penas em geral!". A ideia é que esses post-its guiem o cérebro para focar nas coisas certas. Mas há um mistério: às vezes, adicionar mais post-its ou colocá-los em mais lugares não torna o robô mais inteligente; na verdade, torna-o confuso ou pior no trabalho. Cientistas têm tentado descobrir o porquê disso acontecer, questionando se os post-its simplesmente não são "fortes" o suficiente.

Este artigo, intitulado "Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation", mergulha nesse mistério. Os autores, uma equipe de pesquisadores de várias universidades, argumentam que o problema não é que os post-its sejam fracos. Em vez disso, o problema é que os post-its são bagunçados. Eles não sabem como filtrar a informação conforme ela viaja pela linha de montagem. O artigo propõe um novo método chamado PIB (Prompted Information Bottlenecks). Imagine o PIB como um conjunto de filtros rigorosos e inteligentes que ficam entre as estações de montagem. Esses filtros garantem que, conforme o robô processa uma imagem, ele mantenha as pistas importantes (como o formato de um bico) e jogue fora o lixo (como a cor do céu ou a textura da grama) nos momentos certos.

Os pesquisadores testaram essa ideia em 34 conjuntos de dados diferentes, que são como coleções gigantes de imagens, variando de espécies de pássaros de detalhamento fino a imagens médicas complexas. Eles descobriram que o novo método deles, o PIB, foi um enorme sucesso. Ele alcançou 92,1% de precisão na classificação de aves de detalhamento fino (FGVC), 93,01% em um amplo conjunto de tarefas visuais (HTA) e 77,33% em um benchmark desafiador chamado VTAB-1k. Notavelmente, ele fez tudo isso alterando apenas 0,35% dos parâmetros totais do modelo, mantendo-se incrivelmente eficiente.

O artigo sugere que a forma antiga de fazer as coisas (prompt tuning padrão) estava falhando porque deixava o robô manter informações inúteis por muito tempo, ou jogar fora pistas importantes cedo demais. O PIB corrige isso ao forçar o robô a seguir um caminho "mínimo, porém suficiente": manter os detalhes locais no início e, depois, remover progressivamente o ruído à medida que a imagem avança pelas camadas do cérebro. Isso não apenas torna o robô mais preciso, mas também mais robusto, o que significa que ele não é enganado por iluminação ruim ou fundos estranhos tão facilmente. Os autores mostram que, ao regular como a informação flui através das camadas, em vez de apenas adicionar mais "notas", podemos tornar esses cérebros de IA gigantes muito melhores em aprender novas habilidades sem precisar de uma reformulação massiva.

Resumo Técnico: Repensando a Alocação de Informação Camada a Camada para Adaptação de Modelos de Fundação de Visão

Declaração do Problema

Modelos de Fundação de Visão (VFMs), particularmente Vision Transformers (ViTs), são cada vez mais utilizados como backbones congelados para tarefas de reconhecimento visual downstream. Embora métodos de adaptação baseados em prompts, como o Visual Prompt Tuning (VPT), ofereçam uma alternativa eficiente em termos de parâmetros em relação ao ajuste fino (fine-tuning) completo, seu comportamento camada a camada permanece pouco compreendido. Observações empíricas indicam que aumentar a profundidade, o comprimento ou o intervalo de inserção do prompt não melhora de forma confiável o desempenho de transferência. Em alguns casos, uma parametrização de prompt mais forte leva à instabilidade no reconhecimento de grão fino, transferência de poucos disparos (low-shot) ou sob mudanças de distribuição.

Os autores argumentam que essas limitações não decorrem apenas de questões de otimização ou de insuficiência de capacidade do prompt. Em vez disso, elas derivam de uma falta de controle principiado sobre a alocação de informação camada a camada. Os métodos de prompt existentes frequentemente falham em regular o que as representações condicionadas pelo prompt devem preservar, suprimir ou propagar através da profundidade de um transformer congelado. Isso pode resultar na preservação excessiva de fatores de incômodo (ex: textura, fundo) ou na supressão prematura de evidências locais relevantes para a tarefa.

Metodologia: Gargalos de Informação por Prompt (PIB)

Inspirado pelo princípio do Gargalo de Informação (Information Bottleneck - IB), os autores propõem o Prompted Information Bottlenecks (PIB), um framework que trata a adaptação baseada em prompt como um processo de alocação de informação camada a camada. A hipótese central é que uma adaptação eficaz deve seguir uma trajetória "mínima, porém suficiente": as camadas iniciais devem reter evidências locais necessárias para a discriminação, enquanto as camadas mais profundas devem suprimir progressivamente fatores de incômodo e detalhes redundantes.

O framework PIB introduz um objetivo de treinamento que regulariza o comportamento do prompt através de três componentes complementares:

Compressão e Suficiência por Camada:
- Compressão: Para desencorajar a propagação de informações redundantes ou carregadas de incômodos, o PIB minimiza a energia fora da diagonal da matriz de correlação empírica das representações ocultas normalizadas. Isso serve como um substituto para reduzir a informação mútua entre a representação e a entrada ( $I(H_l; X)$ ).
- Suficiência: Para evitar a compressão excessiva que possa descartar pistas discriminativas úteis, o PIB maximiza a separabilidade de classes. Isso é alcançado minimizando a razão entre a dispersão intra-classe e a dispersão inter-classe ( $S_{intra}/S_{inter}$ ), atuando como um substituto para maximizar a informação mútua com o rótulo ( $I(H_l; Y)$ ).
- O erro total por camada combina esses termos: $\mathcal{L}_{PIB} = \sum (\lambda_l \mathcal{L}^{(l)}_{comp} + \gamma_l \mathcal{L}^{(l)}_{suff})$ .
Caminho Mínimo-Suficiente Trans-camadas:
- Reconhecendo que a otimização independente por camada é insuficiente, o PIB impõe um caminho de refinamento coerente através da profundidade. Uma pontuação de qualidade da camada ( $q_l$ ) é definida com base no equilíbrio entre compressão e suficiência.
- Um regularizador de caminho penaliza a deterioração abrupta nesta pontuação entre camadas adjacentes ( $\max(0, q_{l+1} - q_l - \delta_l)$ ), incentivando uma transição suave da preservação de evidências locais para a seletividade semântica de alto nível.
Roteamento Opcional Consciente da Camada:
- Um portão (gate) aprendível opcional ( $r_l$ ) permite que o modelo ajuste dinamicamente o peso entre os objetivos de compressão e suficiência para cada camada, proporcionando flexibilidade para diferentes papéis representacionais através da profundidade da rede.

O objetivo final combina o erro padrão da tarefa com esses regularizadores: $\mathcal{L}_{total} = \mathcal{L}_{task} + \mathcal{L}_{PIB} + \eta \mathcal{L}_{path}$ .

Principais Contribuições

Identificação de um Modo de Falha: O artigo identifica que as limitações da adaptação de VFM baseada em prompt decorrem não apenas da dinâmica de otimização, mas de uma alocação de informação camada a camada não regulada.
Formulação do PIB: Os autores formulam a adaptação condicionada por prompt como um processo de Prompted Information Bottleneck camada a camada, fornecendo uma perspectiva inspirada no Information Bottleneck onde os prompts eficazes seguem um caminho de informação mínimo, porém suficiente.
Framework de Treinamento: Um framework de treinamento prático é desenvolvido que regula explicitamente a alocação de informação induzida pelo prompt usando substitutos complementares de compressão e suficiência, juntamente com restrições de caminho trans-camadas.
Análise Empírica: O estudo conecta o escalonamento não monotônico, a generalização instável, a dependência de atalhos (shortcuts) e a dinâmica do prompt à proposta perspectiva de alocação de informação, oferecendo uma explicação mais clara para os modos de falha de adaptação baseada em prompt.

Resultados Experimentais

Os autores avaliaram o PIB em 34 datasets, incluindo FGVC (Classificação Visual de Grão Fino), HTA (Adaptação de Tarefa Heterogênea) e VTAB-1k, utilizando vários backbones congelados (ViT-Base/16, pré-treinados via MAE, pré-treinados via MoCo v3, e Swin-Base).

Desempenho: O PIB alcançou um forte desempenho ajustando apenas 0,35% dos parâmetros em média. Resultados principais incluem:
- 92,1% em FGVC.
- 93,01% em HTA.
- 77,33% em VTAB-1k.
- Melhorias consistentes foram observadas em diferentes paradigmas de pré-treinamento (supervisionado, MAE, MoCo v3) e arquiteturas (ViT, Swin).
Comportamento de Escalonamento: Ao contrário do VPT padrão, que exibe um comportamento não monotônico e às vezes frágil quando a profundidade ou o comprimento do prompt aumentam, o PIB demonstra uma tendência de escalonamento mais suave e favorável.
Robustez e Redução de Atalhos: O PIB reduziu a dependência de pistas visuais propensas a atalhos (ex: texturas de fundo). Sob corrupção, mudança de domínio e configurações de poucos disparos (few-shot), o PIB mostrou uma queda de desempenho menor comparado ao VPT (reduzindo a queda média de 8,0 pontos para 5,3 pontos).
Diagnósticos: A análise camada a camada revelou que o PIB produz uma trajetória de informação mais coerente, uma supressão de redundância mais estável e uma maior separabilidade de classes em comparação ao VPT vanilla. Visualizações de atenção confirmaram que o PIB leva a ativações mais centradas no objeto e semanticamente alinhadas.

Significância e Alegações

O artigo posiciona o PIB tanto como um método prático quanto como uma nova perspectiva para adaptar modelos de fundação de visão congelados. Os autores alegam que:

Controle Principaliado: A principal fraqueza da adaptação baseada em prompt padrão é a falta de controle principaliado sobre a alocação de informação camada a camada, não meramente uma capacidade insuficiente.
Interpretabilidade: O PIB ajuda a explicar o comportamento não monotônico do escalonamento de capacidade do prompt e fornece uma visão mais interpretável da dinâmica de prompt camada a camada.
Generalização: O framework não está preso a arquiteturas ou receitas de pré-treinamento específicas, generalizando bem através de diferentes espaços de representação congelados.
Robustez: Ao regular explicitamente o que os prompts preservam e descartam, o PIB gera representações que são não apenas mais discriminativas, mas também mais robustas sob mudanças de distribuição e configurações de reconhecimento de grão fino.

Os autores concluem que a adaptação eficiente em parâmetros deve ser entendida não apenas pelo número de parâmetros atualizados, mas também por como a adaptação remodela as representações intermediárias. O PIB oferece um passo em direção a uma compreensão mais fundamentada da adaptação de VFMs congelados.