Resumo Técnico: FINO – Adaptando Modelos de Fundação Visual com Metadados

Problema

Modelos de fundação visual, embora poderosos em imagens naturais, frequentemente degradam ao serem aplicados a domínios científicos especializados, como microscopia biomédica, observação da Terra, monitoramento de vida selvagem e imagens médicas. Esses domínios exibem mudanças substanciais de distribuição impulsionadas tanto por variações significativas (ex: geografia, protocolos de coloração) quanto por fatores espúrios (ex: características do sensor, efeitos de lote).

Estratégias de adaptação padrão enfrentam limitações significativas nesses cenários:

• Ajuste Fino Supervisionado (Supervised Fine-Tuning): Requer rótulos específicos de tarefas escassos ou caros. Frequentemente sofre overfitting aos sinais da tarefa, erodindo as capacidades de generalização do modelo e levando a um desempenho pobre fora da distribuição (OOD).
• Adaptação de Domínio Não Supervisionada (UDA): Aproveita dados de alvo não rotulados, mas permanece orientada pela tarefa, correndo o risco de colapso específico da tarefa e falhando em generalizar através de diversas mudanças científicas.
• Aprendizado Autossupervisionado Puro (SSL): Embora livre de rótulos, a adaptação SSL padrão pode permanecer sensível a pistas de baixo nível ou artefatos de contexto, falhando em distinguir entre fatores semânticos informativos e ruído de aquisição espúrio.

Dados científicos, no entanto, são tipicamente acompanhados por metadados ricos (ex: tipos de anticorpos, país, carimbo de tempo, ângulo de visão) que correlacionam com essas variações. O desafio é utilizar esses metadados para adaptar representações sem rótulos de tarefa, preservando a estrutura informativa enquanto se suprime os fatores espúrios.

Metodologia: FINO (FIne tuning with NO labels)

Os autores propõem o FINO, um framework unificado para adaptação de representação guiada por metadados. O método adapta um modelo de fundação pré-treinado para um novo domínio usando apenas dados de origem e seus metadados associados, sem exigir rótulos de tarefa, dados de distribuição de alvo ou metadados no momento da inferência.

Arquitetura Central

O FINO baseia-se na configuração padrão de DINO (arquitetura estudante-professor com atualizações de média móvel exponencial) e a estende com orientação por metadados.

1. Particionamento de Metadados: Os tipos de metadados ($t$) são categorizados em:
   • Fatores Informativos ($M^+$): Variáveis que o modelo deve preservar (ex: identidade do anticorpo na microscopia, geografia na observação da Terra).
   • Fatores Espúrios ($M^-$): Variáveis que o modelo deve suprimir (ex: IDs de placas, resolução do sensor, efeitos de lote).
2. Perdas de Orientação por Metadados:
   • Metadados Discretos: Para metadados categóricos (ex: país, anticorpo), o FINO emprega um objetivo contrastivo baseado em protótipos. Ele mantém um banco de protótipos $\{p_m\}$ para cada valor de metadado. O embedding do estudante é contrastado contra o protótipo correspondente ao seu valor de metadado. Os protótipos são atualizados via uma EMA dos embeddings do professor. Esta abordagem escala para metadados de alta cardinalidade sem exigir pares positivos/negativos dentro de um lote.
   • Metadados Contínuos: Para valores contínuos (ex: carimbo de tempo, ângulo de visão), um preditor treinável (MLP) é treinado para regredir o valor do metadado a partir do embedding, minimizando uma perda de regressão.
3. Reversão de Gradiente para Fatores Espúrios: Para suprimir fatores espúrios, o FINO aplica reversão de gradiente à perda de metadados antes que ela chegue ao codificador. Isso encoraja o codificador a ignorar esses fatores enquanto o cabeçalho preditor ainda aprende a prevê-los (formulação adversarial).
4. Objetivo Geral: A perda total combina perdas autossupervisionadas padrão (DINO em tokens CLS, iBOT em tokens de patch), um termo de regularização (SIGReg) e a soma ponderada das perdas de orientação por metadados:
   $$L(x) = L_{DINO}(x) + L_{iBOT}(x) + \lambda_{SIGReg}L_{SIGReg}(x) + \sum_{t \in M^+ \cup M^-} \lambda^{(t)}_{meta} L^{(t)}_{meta}(x)$$
   Notavelmente, o método utiliza um único hiperparâmetro fixo ($\lambda_{meta} = 0.03$) em todos os domínios, não exigindo ajuste extensivo.

Protocolo de Treinamento

• Fase 1: O backbone pré-treinado é congelado. Os cabeçalhos de metadados e de perda são inicializados aleatoriamente e treinados para alinhar-se ao espaço de representação pré-treinado. A camada de embedding de patch também é atualizada para se adaptar às estatísticas de pixels do domínio alvo.
• Fface 2: O backbone é progressivamente descongelado e treinado de ponta a ponta com um warmup de taxa de aprendizado linear para evitar desestabilização.

Principais Contribuições

1. Framework Unificado: O FINO integra metadados heterogêneos (discretos e contínuos) no aprendizado autossupervisionado sem modificar a arquitetura do backbone ou exigir metadados na inferência.
2. Adaptação Livre de Rótulos: Demonstra que um modelo de fundação visual genérico pode ser especializado para domínios científicos usando apenas metadados, superando o ajuste fino totalmente supervisionado que depende de rótulos de tarefa.
3. Robustez e Transferência: O método produz representações que são robustas a mudanças de distribuição e agnósticas à tarefa, permitindo a transferência eficaz entre conjuntos de dados dentro do mesmo domínio (ex: de HPA para OpenCell), mesmo quando as definições de classe diferem.
4. Desempenho de Estado da Arte: O FINO iguala ou excede métodos especializados de estado da arte (incluindo as melhores soluções do Kaggle) em quatro domínios científicos distintos usando uma única receita compartilhada.

Resultados Experimentais

Os autores avaliaram o FINO em quatro conjuntos de dados: Human Protein Atlas (HPA), iWildCam, Functional Map of the World (FMoW) e MIMIC-CXR.

• Desempenho vs. Ajuste Fino Supervisionado: O FINO consistentemente superou o ajuste fino totalmente supervisionado (que treina o backbone e um probe) em métricas OOD. Por exemplo, no HPA, o FINO alcançou um F1 de 61.2, superando o ajuste fino supervisionado (52.6) e o SOTA especializado (59.4), apesar de não usar rótulos de tarefa para a adaptação do backbone.
• Desempenho vs. SSL e UDA: O FINO superou a adaptação autossupervisionada padrão (DINO) e métodos de adaptação de domínio não supervisionada (CORAL, DANN), que frequentemente falharam em generalizar ou sofreram colapso em conjuntos de dados específicos como o iWildCam.
• Regime de Baixos Dados: Em cenários com apenas 1–10% de rótulos disponíveis para o probe de jusante, o FINO manteve um alto desempenho (50.9–57.0%), enquanto o ajuste fino supervisionado degradou drasticamente.
• Análise de Representação: Visualizações UMAP no HPA mostraram que o FINO organizou os recursos de acordo com a variável alvo (localização de proteína) em vez de fatores de aquisição espúrios (linhagem celular), alcançando uma precisão de k-NN de 83% em localização versus 75% em linhagem celular (comparado a 87% em linhagem celular para o SSL padrão).
• Transferência de Aprendizado: Modelos adaptados pelo FINO transferiram com sucesso para conjuntos de dados não vistos dentro do mesmo domínio (ex: HPA $\to$ OpenCell), superando tanto baselines congelados quanto a adaptação supervisionada.

Significância e Alegações

O artigo postula que os domínios de aplicação científica são um cenário crítico e frutífero para avaliar modelos de fundação de visão computacional. Os autores afirmam que:

• Metadados são um recurso poderoso e subutilizado: Eles servem como uma supervisão fraca eficaz para direcionar o aprendizado autossupervisionado em direção a representações robustas e adaptadas ao domínio.
• A adaptação agnóstica à tarefa é superior: Ao desacoplar o aprendizado de representação dos rótulos de tarefa específicos, o FINO evita o "colapso" da generalidade frequentemente visto no ajuste fino supervisionado, resultando em recursos que são simultaneamente mais robustos a mudanças de distribuição e mais alinhados com tarefas de jusante.
• Escalabilidade: O método lida com metadados altamente granulares (milhares de categorias discretas ou valores contínuos) sem a necessidade de engenharia complexa específica do domínio ou ajustes extensivos de hiperparâmetros.

O trabalho conclui que o FINO estabelece um novo paradigma onde modelos de fundação podem ser especializados para a ciência usando "os metadados que você já possui", alcançando um desempenho que rivaliza ou até excede soluções especializadas sem o fardo da rotulagem específica de tarefas.