🤖 AI

Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation

Este artículo propone TriNoL, un marco de adaptación semisupervisada para Modelos Fundacionales de Visión que mejora la robustez ante etiquetas pseudoetiquetadas ruidosas mediante el enrutamiento de muestras no etiquetadas en tres regiones basadas en la confianza y el entrenamiento de expertos LoRA especializados para señales positivas, de alineación y negativas, manteniendo el modelo base congelado.

Autores originales: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a reconocer animales. Tienes algunas fotos con nombres perfectos escritos en ellas, pero también tienes una pila masiva de fotos sin ningún nombre. Para enseñarle al robot, le pides que adivine los nombres para las fotos no etiquetadas. Si adivina con confianza, escribes ese intento como un "nombre" y lo usas como un "maestro" para la siguiente ronda. Este es el mundo del Aprendizaje Semi-Supervisado, un truco ingenioso en las ciencias de la computación que nos permite aprender de enormes cantidades de datos no etiquetados.

Pero aquí está el problema: el robot no es perfecto. A veces, adivina con confianza pero se equivoca totalmente. Estos errores se llaman "etiquetas ruidosas". Si simplemente dejas que el robot aprenda de todos sus aciertos, podría empezar a creer en sus propios errores, confundirse y aprender las cosas mal. Esto es especialmente complicado cuando se utilizan Modelos de Visión Fundacionales —estos son cerebros de IA gigantes, preentrenados, que ya saben mucho sobre el mundo—. No queremos reentrenar todo el cerebro (es demasiado pesado y costoso); solo queremos añadir un "adaptador" diminuto y ligero para ayudarlo a aprender nuestra tarea específica. La gran pregunta es: ¿cómo enseñamos a este adaptador cuando los "maestros" (los aciertos del robot) son una mezcla de genios, estudiantes confundidos y mentirosos totales?

Este es exactamente el problema que aborda un nuevo método llamado TriNoL (Aprendizaje de Triple Experto ante Etiquetas Ruidosas). Los investigadores se dieron cuenta de que tratar todas las fotos no etiquetadas de la misma manera es un error. Un solo adaptador diminuto intentando aprender de una mezcla de aciertos perfectos, aciertos dudosos y aciertos disparatados se confunde. Es como intentar enseñar a un solo estudiante a ser un genio de las matemáticas, un escritor creativo y un inspector de seguridad al mismo tiempo usando una pila desordenada de instrucciones. Las instrucciones para matemáticas podrían contradecir las instrucciones de seguridad, y el estudiante termina sin aprender nada bien.

Para solucionar esto, los autores proponen dividir el trabajo de aprendizaje en tres "expertos" especializados, cada uno con su propio adaptador diminuto. Clasifican las fotos no etiquetadas en tres grupos basados en qué tan seguro está el robot de su acierto:

El Experto Positivo (Los Genios de Alta Confianza): Este experto solo observa las fotos donde el robot está súper seguro (como un 95% de confianza). Estos aciertos suelen ser correctos, por lo que este experto aprende de forma dura y rápida, agudizando la capacidad del robot para distinguir un gato de un perro.
El Experto de Alineación (El Punto Medio Confuso): Este experto maneja las fotos donde el robot está "más o menos" (tal vez entre un 50% y un 70% seguro). Estos son los casos complicados cerca de los límites de las categorías. En lugar de forzar un acierto rotundo, este experto impulsa suavemente al robot hacia la consistencia, ayudándole a entender las líneas borrosas entre categorías sin obligarlo a cometer un error.
El Experto Negativo (La Red de Seguridad para los Mentirosos): Este experto se ocupa de las fotos donde el robot apenas está adivinando (baja confianza). En lugar de ignorarlas o intentar forzarlas a ser correctas, este experto aprende a evitar las respuestas incorrectas. Actúa como un filtro, asegurándose de que el robot no sea engañado por sus propios aciertos disparatados.

El artículo sugiere que, al separar estos tres grupos en tres "rutas de aprendizaje" diferentes, el sistema se vuelve mucho más robusto. La ruta "Positiva" se mantiene limpia y fuerte porque no está contaminada por los aciertos ruidosos. La ruta de "Alineación" ayuda al robot a entender las zonas grises, y la ruta "Negativa" protege al sistema de ser engañado.

Los investigadores probaron esta idea en varios conjuntos de datos, incluyendo imágenes de comida, aves y objetos generales. Encontraron que TriNoL funciona particularmente bien cuando hay muy pocos ejemplos etiquetados y los datos no etiquetados son desordenados. Por ejemplo, en un conjunto de datos de comida con solo unas pocas imágenes etiquetadas, TriNoL mejoró la precisión de aproximadamente un 87.58% a un 88.42%, superando a otros métodos. También demostraron que esta mejora no se debe simplemente a que hicieron el sistema más grande; incluso cuando compararon TriNoL con un único adaptador mucho más grande con la misma potencia de cómputo, TriNoL ganó. Esto sugiere que la "fórmula secreta" no es solo tener más capacidad cerebral, sino tener el tipo de organización adecuado.

Sin embargo, los autores tienen cuidado de señalar que esto no es una solución mágica para todas las situaciones. En casos donde hay muchas imágenes etiquetadas o los datos ya están muy limpios, la ventaja de tener tres expertos disminuye. También admiten que si las puntuaciones de confianza iniciales del robot son completamente erróneas (están mal calibradas), el sistema de clasificación podría confundirse. Pero para el desafío específico de adaptar modelos de IA potentes con datos limitados y aciertos ruidosos, este enfoque de "triple experto" ofrece una forma prometedora y estructurada de mantener el aprendizaje en el camino correcto.

Resumen Técnico: TriNoL – Aprendizaje de Triple Experto a partir de Etiquetas Ruidosas para la Adaptación de VFM Semi-supervisada

1. Planteamiento del Problema

El artículo aborda el desafío de adaptar Modelos de Fundación de Visión (VFM), como CLIP y los codificadores de la serie DINO, en entornos de aprendizaje semi-supervisado (SSL) donde los datos etiquetados son escasos y los datos no etiquetados dependen de pseudo-etiquetas. Aunque los VFM proporcionan representaciones preentrenadas sólidas, su adaptación suele implicar el congelamiento del backbone y la actualización de módulos de Ajuste Fino de Parámetros Eficientes (PEFT) ligeros, como LoRA (Low-Rank Adaptation).

El problema central identificado es la sensibilidad de un único adaptador LoRA ante las pseudo-etiquetas ruidosas. En el SSL estándar, las pseudo-etiquetas exhiben una fiabilidad mixta: las etiquetas de alta confianza suelen ser correctas, las de confianza media son ambiguas (cerca de los límites de decisión) y las de baja confianza son frecuentemente ruidosas. Los métodos existentes suelen tratar la confianza de la pseudo-etiqueta como un peso escalar o un filtro binario (seleccionando muestras de alta confianza y descartando el resto). Sin embargo, los autores argumentan que comprimir los gradientes de estas tres regiones de fiabilidad distintas en un único espacio de actualización de bajo rango causa interferencia de gradientes. Los gradientes fiables, los ambiguos y los ruidosos compiten dentro del mismo adaptador, lo que puede distorsionar la dirección de la adaptación y reforzar límites de decisión incorrectos (sesgo de confirmación).

2. Metodología: TriNoL

Los autores proponen TriNoL (Triple-expert learning from Noisy Labels), un marco que descompone la supervisión de las pseudo-etiquetas en tres regiones basadas en la confianza, cada una gestionada por un experto LoRA especializado.

2.1 Arquitectura

Backbone Congelado: El backbone VFM preentrenado ( $\psi$ ) permanece congelado.
Expertos LoRA Triples: En lugar de un único adaptador, TriNoL emplea tres ramas LoRA independientes ( $\theta^+$ $θ^{+}$ , $\theta^a$ $θ^{a}$ , $\theta^-$ $θ^{-}$ ) insertadas en las proyecciones lineales congeladas:
1. Experto Positivo ( $e^+$ ): Gestiona las pseudo-etiquetas de alta confianza.
2. Experto de Alineación ( $e^a$ ): Gestiona las pseudo-etiquetas de confianza media (ambiguas).
3. Experto Negativo ( $e^-$ ): Gestiona las pseudo-etiquetas de baja confianza (ruidosas).
Cabezal Clasificador: Un cabezal clasificador compartido ( $C_\omega$ ) se actualiza junto con los expertos.

2.2 Enrutamiento Basado en Confianza

Durante el entrenamiento, las muestras no etiquetadas se procesan a través de una vista débilmente aumentada para generar pseudo-etiquetas y puntuaciones de confianza ( $q_i$ ). Dos umbrales, $\tau^-$ y $\tau^+$ , particionan el lote no etiquetado $B_u$ en tres conjuntos:

Alta Confianza ( $B_u^+$ ): $q_i \ge \tau^+$ . Dirigido al Experto Positivo.
Confianza Media ( $B_u^a$ ): $\tau^- \le q_i < \tau^+$ . Dirigido al Experto de Alineación.
Baja Confianza ( $B_u^-$ ): $q_i < \tau^-$ . Dirigido al Experto Negativo.

2.3 Objetivos de Aprendizaje Específicos por Experto

Cada experto se optimiza con una función de pérdida distinta adaptada a la fiabilidad de sus muestras asignadas:

Pérdida Positiva ( $L_{pos}$ ): Utiliza supervisión de pseudo-etiquetas de etiqueta dura (Cross-Entropy) sobre muestras de alta confianza para fortalecer la adaptación discriminativa.
Pérdida de Alineación ( $L_{align}$ ): Utiliza alineación suave (divergencia de Kullback-Leibler) para muestras de confianza media. Empareja la predicción de la vista fuerte del Experto de Alineación con la probabilidad de la vista débil desvinculada ( $sg(p_i^w)$ ). Esto evita forzar decisiones duras en muestras ambiguas mientras se preserva la información del límite.
Pérdida Negativa ( $L_{neg}$ ): Diseñada para suprimir el sobre-compromiso con etiquetas no fiables. En lugar de tratar las pseudo-etiquetas de baja confianza como objetivos, esta pérdida penaliza al Experto Negativo por asignar una alta probabilidad a la pseudo-etiqueta superior actual. Esto evita que las señales ruidosas dominen la actualización sin asumir que todas las muestras de baja confianza son estrictamente erróneas.

El objetivo total es una suma ponderada: $L = L_{sup} + \lambda_{pos}L_{pos} + \lambda_{align}L_{align} + \lambda_{neg}L_{neg}$ .

2.4 Inferencia

En el momento de la inferencia, solo se utiliza el Experto Positivo, ya que ha sido entrenado con etiquetas reales y pseudo-etiquetas fiables. Los otros expertos sirven para regularizar el proceso de entrenamiento.

3. Análisis Teórico

El artículo proporciona una justificación teórica del enfoque:

Interferencia de Gradientes: Un único adaptador se actualiza basándose en un gradiente mixto $G_{single} = G^+ + G^a + G^-$ . La desviación del ideal de actualización fiable ( $G^+$ ) es proporcional a la magnitud de los gradientes ambiguos y ruidosos.
Reducción de la Contaminación: Al enrutar las muestras, TriNoL asegura que el Experto Positivo reciba un gradiente $G^+_{TriNoL}$ con significativamente menos contaminación de $G^a$ y $G^-$ , lo que conduce a una menor desviación del objetivo fiable.
Estabilidad del Subespacio: En el contexto de la aproximación de bajo rango, separar la señal "limpia" ( $S$ ) del ruido ( $E$ ) y la ambigüedad ( $A$ ) permite que el Experto Positivo aproxime una matriz objetivo más limpia, resultando en un subespacio de bajo rango más cercano a la dirección óptima real en comparación con un único adaptador entrenado con la matriz contaminada.
Estabilidad de Optimización: Reducir el sesgo en el gradiente del Experto Positivo conduce a un radio de sesgo de estado estacionario más pequeño en la optimización local, mejorando la estabilidad de la convergencia.

4. Resultados Experimentales

TriNoL fue evaluado en CIFAR-100, FOOD-101, Semi-Aves e ImageNet bajo diversas configuraciones semi-supervisadas (variando proporciones de datos etiquetados y niveles de ruido).

Rendimiento: TriNoL alcanza resultados de vanguardia (SOTA) en configuraciones de pocas etiquetas y de alto ruido. Las mejoras notables incluyen:
- FOOD-101 (N2): 88.42% frente a 87.58% (V-PET) y 87.27% (FineSSL).
- Semi-Aves (OOD Mixto): 61.82% frente a 61.30% (FineSSL).
- CIFAR-100 (N4): 80.92% frente a 80.66% (FineSSL).
Eficiencia: TriNoL utiliza tres expertos LoRA de rango 8 (un total de ~0.96M de parámetros), comparable a un único adaptador LoRA de rango 24. A pesar de tener un número de parámetros y costes computacionales similares, TriNoL supera al adaptador de rango equivalente (88.42% vs. 87.73% en FOOD-101 N2), demostrando que la ganancia proviene de la especialización de los expertos y no de un aumento en la capacidad.
Estudios de Ablación:
- Eliminar cualquiera de los tres expertos degrada el rendimiento, confirmando sus roles complementarios.
- Reemplazar el enrutamiento basado en la confianza con enrutamiento aleatorio o funciones de pérdida compartidas produce resultados inferiores, validando la necesidad tanto del enrutamiento como de los objetivos especializados.
- El análisis de sensibilidad indica un rendimiento óptimo con umbrales $(\tau^-, \tau^+) = (0.3, 0.7)$ y pesos de pérdida específicos.

5. Significación y Reivindicaciones

El artículo afirma que TriNoL ofrece un cambio significativo en la forma en que la adaptación de VFM semi-supervisada maneja el ruido de las pseudo-etiquetas. Sus principales contribuciones son:

Identificación de una Limitación: Destaca que comprimir los gradientes de pseudo-etiquetas de fiabilidad mixta en un único espacio de bajo rango es una debilidad fundamental en los actuales PEFT basados en SSL.
Enrutamiento Consciente de la Confianza: Propone que la fiabilidad de la pseudo-etiqueta debería controlar la vía de adaptación, no solo el peso de la pérdida. Al asignar muestras fiables, ambiguas y no fiables a expertos especializados, el método reduce la interferencia de gradientes.
Robustez con Bajo Coste: TriNoL mejora la robustez ante la supervisión ruidosa manteniendo la eficiencia de la adaptación de backbone congelado, lo que lo hace adecuado para escenarios con recursos limitados y pocas etiquetas.

Los autores reconocen limitaciones, señalando que el método depende del enrutamiento basado en la confianza (que puede verse afectado por la descalibración o el cambio de dominio) y que actualmente se centra en la clasificación de imágenes. Se sugiere como trabajo futuro su aplicación en predicción densa y tareas multimodales.