LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

Resumen Técnico: LoFT

1. El Problema

El aprendizaje semi-supervisado de cola larga (LTSSL, por sus siglas en inglés) enfrenta un desafío formidable: entrenar modelos que aprendan de conjuntos de datos etiquetados desbalanceados (donde las clases "cola" tienen muy pocas muestras) utilizando una gran cantidad de datos no etiquetados.

Los métodos existentes presentan dos limitaciones críticas:

1. Entrenamiento desde cero (From Scratch): La mayoría de los enfoques anteriores entrenan redes neuronales convolucionales (CNN) desde cero. Esto genera un "círculo vicioso": la escasez de datos en las clases cola lleva a una alta incertidumbre, lo que provoca una sobreconfianza (el modelo asigna puntuaciones altas a predicciones incorrectas) y etiquetas pseudo de baja calidad.
2. Escenarios de Mundo Abierto (Open-World): La mayoría de los métodos asumen que los datos no etiquetados provienen de la misma distribución que los etiquetados. En la realidad (ej. clasificación de vida silvestre), los datos no etiquetados a menudo contienen muestras Fuera de Distribución (OOD) (especies raras o desconocidas). Forzar estas muestras a clases existentes corrompe el espacio de características y degrada el rendimiento.

2. Metodología: LoFT y LoFT-OW

Los autores proponen un cambio de paradigma: en lugar de entrenar desde cero, utilizan Modelos Fundacionales (Foundation Models) pre-entrenados y los adaptan mediante Ajuste Fino Eficiente en Parámetros (PEFT).

A. Fundamentos Teóricos:

• Reducción de Complejidad: Se demuestra teóricamente que el PEFT reduce la complejidad del espacio de hipótesis. Al restringir la búsqueda a un subespacio pequeño (ej. solo cabezales o adaptadores) sobre características pre-entrenadas robustas, se acota el error de generalización, incluso con pocas muestras en la cola.
• Mejora de la Calibración: Al reducir la complejidad, se disminuye el Error Posterior Balanceado (BPE), lo que resulta en un modelo mejor calibrado (la confianza del modelo coincide con su precisión).
• Compacidad Geométrica: Los modelos fundacionales tienen características intrínsecamente compactas. Esto comprime la región de aceptación para las clases, haciendo que sea geométricamente más difícil que las muestras OOD caigan dentro de estas regiones, facilitando su rechazo.

B. Arquitectura LoFT (Escenario Cerrado):

• Uso de PEFT: Se utiliza un modelo fundacional (como CLIP) congelado en su encoder visual, ajustando solo un pequeño número de parámetros.
• Estrategia de Auto-Entrenamiento Consciente de la Confianza:
  • Se generan etiquetas pseudo para los datos no etiquetados.
  • Se divide el conjunto no etiquetado en dos subconjuntos basados en la probabilidad máxima (MSP):
    • Alta confianza: Se asignan etiquetas pseudo duras (clase única).
    • Baja confianza: Se asignan etiquetas pseudo suaves (distribución de probabilidad completa) para evitar el sobreajuste y manejar la incertidumbre.
• Pérdida: Combina una pérdida supervisada con ajuste de logit (Logit Adjustment) para los datos etiquetados y una pérdida de regularización para los no etiquetados.

C. Arquitectura LoFT-OW (Escenario de Mundo Abierto):

• Diseñado para filtrar muestras OOD en los datos no etiquetados.
• Mecanismo de Doble Etapa:
  1. Filtrado Zero-Shot: Se utiliza el modelo fundacional para asignar puntuaciones de confianza iniciales. Solo se mantienen muestras con confianza muy alta.
  2. Filtrado por Detección OOD: Se aprovecha la capacidad de detección OOD intrínseca del modelo ajustado (gracias a la compacidad de las características). Se aplica un umbral de confianza ($c_{ood}$) para eliminar muestras que no pertenecen a ninguna clase conocida.
• Esto previene la transferencia negativa y preserva la pureza del aprendizaje de representaciones.

3. Contribuciones Clave

1. Análisis Teórico: Demostración formal de que el PEFT reduce el BPE y mejora la calibración en escenarios de cola larga, rompiendo el ciclo de sobreconfianza de los métodos tradicionales.
2. Marco LoFT: Un nuevo enfoque que integra modelos fundacionales en LTSSL, logrando etiquetas pseudo de alta calidad sin necesidad de entrenar desde cero.
3. Extensión LoFT-OW: La primera extensión de LTSSL a escenarios de mundo abierto que incorpora un mecanismo de detección y filtrado OOD nativo, mejorando la robustez en datos del mundo real.
4. Eficiencia: Logra un rendimiento superior utilizando una fracción mínima de datos no etiquetados (ej. 10% comparado con métodos anteriores) y menos iteraciones de entrenamiento.

4. Resultados Experimentales

Los métodos se evaluaron en benchmarks estándar (CIFAR-100-LT, ImageNet-127) y en escenarios de mundo abierto (mezclando COCO como fuente OOD).

• Rendimiento General: LoFT supera consistentemente a los métodos basados en entrenamiento desde cero (como FixMatch, ACR, CCL) y a las versiones PEFT sin auto-entrenamiento.
  • En CIFAR-100-LT, LoFT con OpenCLIP alcanzó un 83.2% de precisión, superando a los baselines más fuertes.
  • En ImageNet-127, LoFT alcanzó 74.2%, superando a todos los métodos anteriores incluso con solo 10000 iteraciones (vs 250000 de otros métodos).
• Escenario Mundo Abierto: LoFT-OW demostró una capacidad superior para filtrar ruido OOD. Aunque la precisión en CIFAR-100-LT disminuyó ligeramente debido a la dificultad añadida de los datos OOD, en ImageNet-127 LoFT-OW superó incluso a LoFT, demostrando una excelente escalabilidad.
• Calibración: Los diagramas de confiabilidad mostraron que LoFT elimina la sobreconfianza severa en las clases cola, logrando una alineación mucho mejor entre confianza y precisión.
• Robustez OOD: En tareas de detección OOD, los modelos ajustados con PEFT mostraron una mejora drástica en métricas como AUC y FPR en comparación con modelos entrenados desde cero.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cambia el paradigma de LTSSL: Mueve el campo de "entrenar desde cero" a "ajuste fino de modelos fundacionales", resolviendo problemas fundamentales de calibración y generalización.
• Aborda la realidad: Reconoce y resuelve el problema de los datos OOD en escenarios semi-supervisados, algo que la mayoría de la literatura previa ignoraba.
• Eficiencia y Escalabilidad: Demuestra que se pueden lograr resultados de vanguardia con menos datos no etiquetados y menos recursos computacionales, lo cual es crucial para aplicaciones del mundo real donde los datos son abundantes pero ruidosos y desbalanceados.

En conclusión, LoFT establece un nuevo estándar para el aprendizaje desbalanceado robusto, demostrando que la combinación de modelos fundacionales, ajuste eficiente y mecanismos de filtrado OOD es la vía óptima para enfrentar los desafíos de la distribución de datos a largo plazo.