Resumen Técnico: Aprendizaje de Orden Contrastivo (ConOrd)

Planteamiento del Problema

La regresión ordinal busca estimar el rango discreto o continuo de una instancia de objeto, una tarea fundamental en aplicaciones como la estimación de la edad facial, la evaluación de la calidad de imágenes/videos a ciegas y la puntuación del estado de salud. A diferencia de la clasificación estándar, la regresión ordinal requiere modelar la ordinalidad inherente y las distancias relativas entre etiquetas. Sin embargo, los métodos existentes enfrentan limitaciones significativas:

• Aprendizaje de Orden: Las técnicas como el Aprendizaje de Orden Geométrico (GOL) modelan explícitamente la ordinalidad de las etiquetas, pero a menudo dependen de comparaciones de pares locales basadas en márgenes. Estos enfoques típicamente no generan gradiente una vez que se satisface un margen, fallando en explotar el contexto ordinal global más rico disponible a nivel de lote (batch).
• Aprendizaje Contrastivo: Si bien el aprendizaje contrastivo supervisado aprovecha eficazmente todas las muestras en un lote, típicamente trata las etiquetas como categóricas, ignorando la ordenación inherente. Las extensiones como Rank-N-Contrast (RnC) introducen pares conscientes del rango, pero dependen de umbrales rígidos, colapsando las distancias ordinales en decisiones binarias (positivas/negativas) y tratando las muestras con brechas de rango moderadas y sustanciales por igual como negativas.

En consecuencia, existe la necesidad de un marco que capture relaciones ordinales finas a través de todos los pares de muestras, manteniendo al mismo tiempo la consistencia global en el espacio de incrustación (embedding).

Metodología: Aprendizaje de Orden Contrastivo (ConOrd)

Los autores proponen ConOrd, un marco que integra las fortalezas del aprendizaje de orden y el aprendizaje contrastivo. La innovación central es una pérdida de orden contrastiva ($L_{ConOrd}$) que asigna pesos suaves y conscientes del rango a todos los pares de muestras dentro de un lote, en lugar de depender de asignaciones rígidas de positivos/negativos.

Componentes Clave:

1. Espacio de Incrustación con Puntos de Referencia: El marco emplea un codificador $h$ que mapea las instancias a vectores de características en una esfera unitaria. Introduce $M$ puntos de referencia aprendibles $\{\mu_m\}$, donde cada $\mu_m$ representa un prototipo para el rango $m$.
2. Pesos de Afinidad y Disparidad Suaves: A diferencia de RnC, que utiliza umbrales rígidos, ConOrd define pesos continuos basados en la diferencia de rango $|r_i - r_j|$:
   • Peso de Afinidad ($a_{ij}$): Disminuye a medida que la brecha de rango aumenta, promoviendo la atracción entre muestras con rangos similares. Se instancia como $a_{ij} = \frac{1}{(r_i - r_j)^2 + \epsilon}$.
   • Peso de Disparidad ($b_{ij}$): Aumenta a medida que la brecha de rango aumenta, promoviendo la repulsión entre muestras con rangos distantes. Se instancia como $b_{ij} = (r_i - r_j)^2$.
3. La Función de Pérdida: La pérdida se formula como:
   $$L_{ConOrd} = -\frac{1}{2N} \sum_{i=1}^{2N} \frac{1}{|A(i)|} \log \frac{\sum_{j \in A(i)} a_{ij} e^{\kappa_{ij}/\tau}}{\sum_{j \in A(i)} b_{ij} e^{\kappa_{ij}/\tau}}$$
   donde $\kappa_{ij}$ es la similitud (distancia euclidiana al cuadrado negativa) y $\tau$ es un parámetro de temperatura. Esta formulación asegura que:
   • Las muestras con pequeñas brechas de rango sean atraídas.
   • Las muestras con grandes brechas de rango sean repelidas.
   • La magnitud de la brecha de rango modula la fuerza de la atracción o repulsión, permitiendo una supervisión ordinal de grano fino.
4. Regularización: Se añade una pérdida de centro ($L_{center}$) para fomentar grupos compactos alrededor de los puntos de referencia $\mu_m$ para cada rango.
5. Inferencia: La estimación del rango se realiza utilizando una regla de $k$-vecinos más cercanos ($k$-NN) en el espacio de incrustación, promediando los rangos de los $k$ vecinos más cercanos de entrenamiento.

Principales Contribuciones

1. Integración de Marco: Introducción de ConOrd, un marco general que unifica el aprendizaje de orden y el aprendizaje contrastivo dentro de una única formulación por lote.
2. Diseño de Nueva Pérdida: Propuesta de una pérdida de orden contrastiva que utiliza pesos de afinidad y disparidad suaves basados en diferencias de rango. Esto permite que todos los pares de muestras en un lote contribuyan al aprendizaje, modulados por sus relaciones ordinales, evitando la pérdida de información inherente al umbralización rígida.
3. Rendimiento de Vanguardia (State-of-the-Art): Demostración de que ConOrd logra resultados de vanguardia en diversos benchmarks de regresión ordinal, incluyendo la estimación de la edad facial, la evaluación de la calidad de imagen a ciegas (BIQA) y la evaluación de la calidad de video a ciegas (BVQA).

Resultados Experimentales

Los autores evaluaron ConOrd en múltiples conjuntos de datos y tareas:

• Estimación de la Edad Facial: Probado en seis conjuntos de datos (MORPH II, CLAP2015, AgeDB-DIR, UTK, CACD, Adience). ConOrd logró el mejor Error Absoluto Medio (MAE) en todos los conjuntos de datos excepto en CACD, superando a bases sólidas como OrdinalCLIP y NumCLIP (que utilizan guía textual) y SLACE (que utiliza información de distribución de clases).
• Evaluación de la Calidad de Imagen a Ciegas (BIQA): Evaluado en cinco conjuntos de datos (BID, CLIVE, KonIQ10k, SPAQ, FLIVE). ConOrd superó a los métodos existentes tanto en el Coeficiente de Correlación de Orden de Rango de Spearman (SRCC) como en el Coeficiente de Correlación Lineal de Pearson (PCC) en todos los conjuntos de datos, superando arquitecturas complejas basadas en Transformer y Mamba.
• Evaluación de la Calidad de Video a Ciegas (BVQA): Evaluado en cinco benchmarks (LSVQ, KoNViD-1k, LIVE-VQC, CVD2014, YouTube-UGC). ConOrd alcanzó consistentemente los mejores puntajes de SRCC y PCC, superando métodos que utilizan múltiples redes de fondo (por ejemplo, ModularBVQA) utilizando menos redes de fondo.
• Estudios de Ablación:
  • Las comparaciones con $L_{SupCon}$, $L_{RnC}$ y otras pérdidas contrastivas confirmaron que la comparación de todos los pares con pesos suaves es superior.
  • La combinación de $L_{ConOrd}$ y $L_{center}$ produjo los mejores resultados, con $L_{center}$ proporcionando compacidad intra-clase.
  • Se encontró que las funciones de ponderación cuadrática propuestas son robustas y efectivas en comparación con otras formas funcionales.
  • El método demostró resiliencia ante la reducción de datos de entrenamiento y la corrupción de datos.

Significado y Reivindicaciones

El artículo afirma que ConOrd proporciona una base flexible para el aprendizaje de representaciones ordinales al cerrar la brecha entre la consistencia global del aprendizaje contrastivo y el modelado de orden explícito del aprendizaje de orden.

• Generalización: El marco se presenta como una solución general aplicable a varios escenarios de regresión ordinal, no limitado a un dominio específico.
• Eficiencia: El método es computacionalmente eficiente, evitando la necesidad de aumentación de datos y muestreo de negativos dinámico requerido por algunos modelos base, lo que conduce a tiempos de entrenamiento más rápidos.
• Estabilidad: Se afirma que el mecanismo de ponderación suave proporciona una optimización estable, evitando la inestabilidad de gradiente asociada con las pérdidas logarítmicas ingenuas o la pérdida de información de los umbrales rígidos.

Los autores concluyen que, al incorporar la atracción y repulsión conscientes del rango mediante pesos suaves, ConOrd permite que todos los pares de muestras contribuyan al aprendizaje de manera fundamentada, resultando en modelos de regresión ordinal robustos y de alto rendimiento.