Resumen Técnico: FINO – Adaptación de Modelos de Fundación Visual mediante Metadatos

Declaración del Problema

Los modelos de fundación visual, aunque potentes en imágenes naturales, suelen degradarse cuando se aplican a dominios científicos especializados, tales como la microscopía biomédica, la observación de la Tierra, el monitoreo de la vida silvestre y las imágenes médicas. Estos dominios exhiben cambios de distribución sustanciales impulsados tanto por variaciones significativas (p. ej., geografía, protocolos de tinción) como por factores espurios (p. ej., características del sensor, efectos de lote).

Las estrategias de adaptación estándar enfrentan limitaciones significativas en estos entornos:

• Ajuste Fino Supervisado (Supervised Fine-Tuning): Requiere etiquetas específicas de la tarea que son escasas o costosas. A menudo sobreajusta a las señales de la tarea, erosionando la capacidad de generalización del modelo y provocando un pobre rendimiento fuera de la distribución (OOD).
• Adaptación de Dominio No Supervisada (UDA): Aprovecha datos de destino sin etiquetas, pero sigue estando dirigida por la tarea, lo que conlleva el riesgo de un colapso específico de la tarea y la incapacidad de generalizar a través de diversos cambios científicos.
• Aprendizaje Auto-supervisado Puro (SSL): Aunque carece de etiquetas, la adaptación SSL estándar puede seguir siendo sensible a claves de bajo nivel o artefactos de contexto, fallando al distinguir entre factores semánticos informativos y ruido de adquisición espurio.

Sin embargo, los conjuntos de datos científicos suelen estar acompañados de metadatos ricos (p. ej., tipos de anticuerpos, país, marca de tiempo, ángulo de visión) que correlacionan con estas variaciones. El desafío es aprovechar estos metadatos para adaptar las representaciones sin etiquetas de tarea, preservando la estructura informativa mientras se suprimen los factores espurios.

Metodología: FINO (FIne tuning with NO labels)

Los autores proponen FINO, un marco unificado para la adaptación de representaciones guiada por metadatos. El método adapta un modelo de fundación preentrenado a un nuevo dominio utilizando únicamente los datos de origen y sus metadatos asociados, sin requerir etiquetas de tarea, datos de distribución de destino, ni metadatos en el momento de la inferencia.

Arquitectura Central

FINO se basa en la configuración auto-supervisada estándar de DINO (arquitectura estudiante-profesor con actualizaciones de media móvil exponencial) y la extiende con guía de metadatos.

1. Partición de Metadatos: Los tipos de metadatos ($t$) se categorizan en:
   • Factores Informativos ($M^+$): Variables que el modelo debe preservar (p. ej., identidad del anticuerpo en microscopía, geografía en observación de la Tierra).
   • Factores Espurios ($M^-$): Variables que el modelo debe suprimir (p. ej., IDs de placas, resolución del sensor, efectos de lote).
2. Pérdidas de Guía de Metadatos:
   • Metadatos Discretos: Para metadatos categóricos (p. ej., país, anticuerpo), FINO emplea un objetivo contrastivo basado en prototipos. Mantiene un banco de prototipos $\{p_m\}$ para cada valor de metadato. El embedding del estudiante se contrasta contra el prototipo correspondiente a su valor de metadato. Los prototipos se actualizan mediante una EMA de los embeddings del profesor. Este enfoque escala a metadatos de alta cardinalidad sin requerir pares positivos/negativos dentro de un lote.
   • Metadatos Continuos: Para valores continuos (p. ej., marca de tiempo, ángulo de visión), se entrena un predictor aprendible (MLP) para regredir el valor del metadato desde el embedding, minimizando una pérdida de regresión.
3. Reversión de Gradiente para Factores Espurios: Para suprimir los factores espurios, FINO aplica reversión de gradiente a la pérdida de metadatos antes de que llegue al codificador. Esto fomenta que el codificador ignore estos factores mientras que la cabeza del predictor aún aprende a predecirlos (formulación adversarial).
4. Objetivo General: La pérdida total combina las pérdidas auto-supervisadas estándar (DINO en tokens CLS, iBOT en tokens de parches), un término de regularización (SIGReg), y la suma ponderada de las pérdidas de guía de metadatos:
   $$L(x) = L_{DINO}(x) + L_{iBOT}(x) + \lambda_{SIGReg}L_{SIGReg}(x) + \sum_{t \in M^+ \cup M^-} \lambda^{(t)}_{meta} L^{(t)}_{meta}(x)$$
   Notablemente, el método utiliza un único hiperparámetro fijo ($\lambda_{meta} = 0.03$) en todos los dominios, lo que no requiere un ajuste extensivo.

Protocolo de Entrenamiento

• Fase 1: El backbone preentrenado permanece congelado. Las cabezas de metadatos y de pérdida se inicializan aleatoriamente y se entrenan para alinearse con el espacio de representación preentrenado. La capa de embedding de parches también se actualiza para adaptarse a las estadísticas de píxeles del dominio de destino.
• Fase 2: El backbone se descongela progresivamente y se entrena de extremo a extremo con un calentamiento de tasa de aprendizaje lineal para evitar la desestabilización.

Contribuciones Clave

1. Marco Unificado: FINO integra metadatos heterogéneos (discretos y continuos) en el aprendizaje auto-supervisado sin modificar la arquitectura del backbone ni requerir metadatos en la inferencia.
2. Adaptación Sin Etiquetas: Demuestra que un modelo de fundación visual genérico puede especializarse en dominios científicos usando solo metadatos, superando al ajuste fino totalmente supervisado que depende de etiquetas de tarea.
3. Robustez y Transferencia: El método produce representaciones que son robustas a los cambios de distribución y agnósticas a la tarea, permitiendo una transferencia efectiva a través de conjuntos de datos dentro del mismo dominio (p. ej., de HPA a OpenCell) incluso cuando las definiciones de clase difieren.
4. Rendimiento de Vanguardia (SOTA): FINO iguala o supera a los métodos especializados de vanguardia (incluyendo las mejores soluciones de Kaggle) en cuatro dominios científicos distintos utilizando una única receta compartida.

Resultados Experimentales

Los autores evaluaron FINO en cuatro conjuntos de datos: Human Protein Atlas (HPA), iWildCam, Functional Map of the World (FMoW) y MIMIC-CXR.

• Rendimiento vs. Ajuste Fino Supervisado: FINO superó consistentemente al ajuste fino totalmente supervisado (que entrena el backbone y un probe) en métricas OOD. Por ejemplo, en HPA, FINO logró un F1 de 61.2, superando al ajuste fino supervisado (52.6) y al SOTA especializado (59.4), a pesar de no utilizar etiquetas de tarea para la adaptación del backbone.
• Rendimiento vs. SSL y UDA: FINO superó la adaptación auto-supervisada estándar (DINO) y los métodos de adaptación de dominio no supervisada (CORAL, DANN), que a menudo fallaron en generalizar o colapsaron en conjuntos de datos específicos como iWildCam.
• Régimen de Pocos Datos: En escenarios con solo el 1–10% de las etiquetas disponibles para el probe de la tarea descendente, FINO mantuvo un alto rendimiento (50.9–57.0%), mientras que el ajuste fino supervisado se degradó drásticamente.
• Análisis de Representación: Las visualizaciones UMAP en HPA mostraron que FINO organizó las características según la variable objetivo (localización de proteínas) en lugar de factores de adquisición espurios (línea celular), logrando una precisión de k-NN del 83% en localización frente al 75% en línea celular (comparado con el 87% en línea celular para el SSL estándar).
• Aprendizaje por Transferencia: Los modelos adaptados con FINO transfirieron con éxito a conjuntos de datos no vistos dentro del mismo dominio (p. ej., HPA $\to$ OpenCell), superando tanto a los baselines congelados como a la adaptación supervisada.

Significado y Reivindicaciones

El artículo postula que los dominios de aplicación científica son un escenario crítico y fructífero para evaluar los modelos de fundación de visión por computadora. Los autores afirman que:

• Los metadatos son un recurso poderoso y subutilizado: Sirven como una supervisión débil efectiva para dirigir el aprendizaje auto-supervisado hacia representaciones robustas y adaptadas al dominio.
• La adaptación agnóstica a la tarea es superior: Al desacoplar el aprendizaje de la representación de las etiquetas de tarea específicas, FINO evita el "colapso" de la generalidad que suele verse en el ajuste fino supervisado, resultando en características que son más robustas a los cambios de distribución y más alineadas con las tareas descendentes.
• Escalabilidad: El método maneja metadatos altamente granulares (miles de categorías discretas o valores continuos) sin necesidad de ingeniería compleja específica del dominio o un ajuste extensivo de hiperparámetros.

El trabajo concluye que FINO establece un nuevo paradigma donde los modelos de fundación pueden especializarse para la ciencia utilizando "los metadatos que ya tienes", logrando un rendimiento que rivaliza o incluso supera a las soluciones especializadas sin la carga de la etiquetación específica de la tarea.