Resumen Técnico: Conócete mejor: La diversidad de características relacionadas con objetos mejora el reconocimiento de conjunto abierto

Declaración del Problema

Los clasificadores neuronales convencionales operan bajo un supuesto de "conjunto cerrado" (close-set), lo que significa que están entrenados en un conjunto fijo de categorías y tienen dificultades para identificar muestras de clases previamente no vistas. En escenarios de despliegue realistas, esto conduce a predicciones excesivamente confiadas para muestras de "conjunto abierto" (outliers), las cuales son clasificadas erróneamente como clases conocidas de "conjunto cerrado" (inliers). El Reconocimiento de Conjunto Abierto (OSR, por sus siglas en inglés) tiene como objetivo resolver esto permitiendo que los modelos detecten clases novedosas durante la inferencia. Aunque existen varios métodos, los mecanismos subyacentes de aprendizaje de representaciones que impulsan un OSR exitoso aún no se comprenden suficientemente. Específicamente, el papel de la diversidad de características —el grado en que una representación captura múltiples atributos semánticamente significativos de un objeto en lugar de depender de un subconjunto limitado de pistas discriminativas— ha recibido poca atención.

Metodología

1. Investigación de la Diversidad de Características

Los autores establecen primero un vínculo entre la diversidad de características y el rendimiento del OSR mediante experimentos controlados:

• Experimentos Sintéticos: Utilizando un conjunto de datos de círculos y rectángulos, entrenaron modelos en escenarios que requerían una discriminación basada solo en el color (E1) o una combinación de color y forma (E2). Los modelos entrenados en el escenario más complejo E2 (que requiere características de forma) demostraron un rendimiento de OSR superior cuando se probaron contra valores atípicos (rectángulos azules) que compartían pistas de color con los inliers pero diferían en su forma.
• Experimentos con CIFAR-100: Al entrenar clasificadores en un número creciente de clases (desde macroclases generales hasta clases finamente detalladas), los autores observaron que los modelos requeridos para distinguir más clases finas aprendían características más diversas. Estos modelos alcanzaron consistentemente un mayor rendimiento de OSR (medido por AUROC) y una mejor generalización a las clases atípicas en comparación con los modelos entrenados con menos clases.

2. Análisis del Aprendizaje Contrastivo Supervisado (SupCon)

El artículo investiga el parámetro de temperatura ($\tau$) en el Aprendizaje Contrastivo Supervisado (SupCon).

• Análisis de Gradientes: Los autores analizan los gradientes de la pérdida SupCon con respecto a las similitudes de pares positivos y negativos. Demuestran que el parámetro de temperatura influye significativamente en la dinámica de optimización:
  • Temperaturas bajas imponen una atracción más fuerte sobre los pares positivos y asignan gradientes mayores a los pares negativos "difíciles" (muestras con alta similitud pero etiquetas diferentes). Esto obliga al modelo a aprender características más invariantes y discriminativas.
  • Temperaturas altas asignan gradientes relativamente mayores a los negativos fáciles y moderadamente difíciles.
• Representaciones Complementarias: El análisis empírico muestra que los modelos entrenados con diferentes temperaturas aprenden representaciones que están menos alineadas (menor acuerdo de predicción) y capturan aspectos complementarios de los datos. La agregación de representaciones de modelos entrenados con diferentes temperaturas produce una mayor precisión de clasificación en datos dentro de la distribución que el uso de un solo modelo.

3. Enfoque Propuesto: Ensamblaje Basado en Temperatura

Motivados por el hallazgo de que diferentes temperaturas inducen un aprendizaje de características complementarias, los autores proponen un marco de ensamblaje simple:

• Entrenamiento: Se entrenan múltiples modelos SupCon de forma independiente utilizando diferentes valores de temperatura (muestreados de una distribución logarítmica: $\{1, 0.5, 0.1, 0.05, 0.01, 0.005\}$).
• Inferencia: Durante la inferencia de OSR, los modelos generan puntuaciones (por ejemplo, normas de características o distancias). Estas puntuaciones se agregan (específicamente, la Suma de Puntuaciones resultó ser la estrategia más efectiva entre la concatenación, la suma y la suma de puntuaciones) para producir una puntuación final de detección de valores atípicos.
• Arquitectura: El método utiliza un backbone ResNet-18 estándar sin pre-entrenamiento ni modelos fundacionales, basándose puramente en la diversidad inducida por el hiperparámetro de temperatura.

Resultados Clave

Se realizaron experimentos extensos en seis benchmarks estándar de OSR: MNIST, SVHN, CIFAR-10, CIFAR+10, CIFAR+50 y TinyImageNet.

• Rendimiento: El método propuesto superó consistentemente a bases sólidas, incluyendo OpenMax, C2AE, APRL y GeoEnsemble.
• Estado del Arte: El enfoque logró resultados mejores o comparables en la mayoría de los protocolos. Notablemente, alcanzó un AUROC del 81.0% en el complejo conjunto de datos TinyImageNet, superando métodos previos como SupCon-ST (80.9%) y MEDAF (80.0%).
• Estudios de Ablación:
  • La agregación de tres representaciones de diferentes temperaturas produjo el mejor rendimiento (por ejemplo, 93.12% en CIFAR-10), superando las representaciones simples o dobles.
  • La elección de las combinaciones de temperatura impactó significativamente el rendimiento, confirmando que diferentes temperaturas capturan distintos subconjuntos de características.
  • La suma de puntuaciones (SocSum) demostró ser ligeramente más robusta que la concatenación de representaciones o la suma de estas.

Significado y Reivindicaciones

El artículo afirma que la contribución principal es un cambio de perspectiva desde estrategias específicas de detección de valores atípicos hacia el propio proceso de aprendizaje de representaciones.

• Hipótesis de la Diversidad de Características: El trabajo proporciona evidencia empírica de que codificar un rango más amplio de características relacionadas con objetos (diversidad) está positivamente correlacionado con un mejor rendimiento de OSR.
• La Temperatura como Perilla de Control: Los autores demuestran que el parámetro de temperatura en SupCon no es meramente un hiperparámetro para la convergencia, sino un mecanismo para controlar el énfasis en los pares de muestras fáciles frente a las difíciles, moldeando así la diversidad de las representaciones aprendidas.
• Simplicidad y Efectividad: La solución propuesta es un ensamblaje simple de modelos SupCon existentes con variaciones de temperatura. Requiere modificaciones mínimas a los marcos estándar y, aun así, logra un rendimiento competitivo o superior, lo que sugiere que aprovechar la diversidad de la representación es una estrategia altamente efectiva y subutilizada para OSR.
• Implicaciones Más Amplias: Aunque se centra en OSR, los autores señalan que los principios para inducir la diversidad de características mediante el aprendizaje de representaciones pueden beneficiar otras tareas como el aprendizaje por transferencia, la robustez de los modelos y la adaptación de dominio.

El artículo concluye que, si bien los modelos fundacionales ofrecen capacidades amplias, los principios específicos para moldear el aprendizaje de representaciones para capturar características diversas y complementarias siguen siendo una dirección de investigación crítica y complementaria para una cuantificación de la incertidumbre y detección de valores atípicos fiables.