🤖 machine learning

Knee or ROC

El artículo propone el método de la "rodilla" (knee) como una alternativa al umbral ROC para calcular la precisión en la detección de imágenes multiclase con poblaciones desconocidas, demostrando su eficacia mediante un conjunto de datos derivado de CIFAR-10.

Autores originales: Veronica Wendt, Jacob Steiner, Byunggu Yu, Caleb Kelly, Justin Kim

Publicado 2026-03-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Veronica Wendt, Jacob Steiner, Byunggu Yu, Caleb Kelly, Justin Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una fiesta muy concurrida (el mundo de la Inteligencia Artificial) y tu trabajo es identificar a los invitados.

Hasta ahora, la tecnología más avanzada (llamada Transformers) era como un invitado muy inteligente, pero un poco rígido: solo podía reconocer a una sola persona a la vez si sabía exactamente cómo se veía esa persona de antemano. Si entraban dos o tres personas juntas en la foto, o si no tenías una lista previa de cómo se veían, el sistema se confundía.

Este paper (artículo científico) propone dos nuevas formas de ayudar a este "invitado inteligente" a trabajar mejor en fiestas donde hay muchas personas juntas y donde no conocemos a todos los asistentes.

Aquí te explico las dos estrategias principales que proponen los autores, usando analogías sencillas:

1. El problema: La "Regla Fija" vs. La "Realidad Dinámica"

Imagina que el sistema tiene una regla fija: "Si veo algo que se parece al 75% a un gato, lo declaro gato".

El problema: Esta regla se define antes de la fiesta (durante el entrenamiento). Una vez que la fiesta empieza (el entorno real), la regla no cambia. Si la iluminación cambia o entran tipos de gatos que no conocías, la regla fija falla.
La solución: Necesitamos una forma de ajustar la regla "sobre la marcha", mientras la fiesta está en curso.

2. La Estrategia A: El "Mapa de Probabilidades" (Métodos ROC)

Los autores proponen dos formas de crear un mapa mejor para tomar decisiones.

Método 1 (La Curva ROC Tradicional): Imagina que dibujas un mapa donde el eje vertical es "cuántos gatos acertaste" y el horizontal es "cuántos perros confundiste con gatos". Buscas el punto perfecto en el mapa donde aciertas mucho y te equivocas poco.
- El truco: Como hay muchos tipos de animales (clases múltiples), no puedes usar el mapa antiguo. Tienen que crear un nuevo mapa usando matemáticas complejas (distribuciones normales) para ver dónde está el punto de equilibrio ideal.
Método 2 (El "Qué pasaría si..."): Esta es la versión "brutal" pero efectiva. Imagina que tomas todas las fotos de la fiesta y dices: "¿Qué pasaría si la regla fuera el 10%? ¿Y si fuera el 20%? ¿Y el 30%?".
- Prueban todas las reglas posibles una por una, reordenando los datos como si fueran piezas de un rompecabezas, hasta encontrar la regla que da el mejor resultado posible. Es como probar todas las llaves en un montón hasta abrir la puerta.

Resultado: El Método 2 (probar todas las posibilidades) encontró una regla mejor que la tradicional para este tipo de fiestas caóticas.

3. La Estrategia B: El "Codo de la Gráfica" (Método Knee)

Aquí es donde entra la analogía más divertida: El Codo.

Imagina que tienes una gráfica que muestra qué tan seguros están los invitados de ser quienes dicen ser.

Si los invitados están muy seguros (probabilidad alta), la gráfica sube rápido.
Si están inseguros (probabilidad baja), la gráfica se aplana.

El "Punto de Codo" (Knee Point) es el lugar exacto donde la gráfica deja de subir rápido y empieza a aplana. Es como el codo de tu brazo: antes es recto, luego dobla y cambia de dirección.

La idea: En lugar de buscar una regla fija, el sistema mira la gráfica de cada foto y dice: "¡Ah! Aquí es donde la confianza cambia drásticamente. Ese es el punto de corte".
La ventaja: Esto se puede hacer al instante (en tiempo real), sin necesidad de volver a entrenar al sistema. Es como un guardia de seguridad que, al ver a alguien, decide al instante si es sospechoso basándose en su postura, sin consultar un manual.

4. ¿Qué descubrieron? (El Veredicto)

Los autores probaron esto con un juego de imágenes (CIFAR-10) donde mezclaron 4 fotos pequeñas en una sola (como un collage).

Para fotos "pequeñas" o confusas: El método de probar todas las reglas (Método 2) funcionó mejor.
Para fotos "grandes" o claras: El método del "Codo" (Método 3) funcionó muy bien. Si la imagen tenía una probabilidad de acierto alta (más del 35%), el "codo" aparecía claramente y el sistema sabía exactamente dónde cortar. Si la imagen era muy confusa, el "codo" desaparecía.

En resumen

Este paper es como un manual de instrucciones para un detective de IA que quiere trabajar en un caso donde hay varios criminales en una sola foto y no tiene fichas policiales de todos ellos.

Antes: El detective usaba una lista fija y fallaba si el criminal se disfrazaba.
Ahora: El detective usa dos herramientas:
1. Un simulador que prueba millones de escenarios para encontrar la mejor regla (Método 2).
2. Un instinto que busca el "codo" en la gráfica de confianza para decidir al instante (Método 3).

Esto permite que la Inteligencia Artificial sea más flexible, rápida y capaz de entender escenas complejas donde hay múltiples objetos o personas interactuando, algo esencial para el futuro de la visión por computadora (como en los coches autónomos o la seguridad).

Resumen Técnico: KNEE or ROC

1. Planteamiento del Problema

El artículo aborda una limitación crítica en el uso de transformadores de autoatención (como los Compact Convolutional Transformers o CCT) para la clasificación de imágenes. Si bien estos modelos han demostrado alta precisión en conjuntos de datos pequeños y para la detección de clases únicas con representaciones de población conocidas, enfrentan desafíos en escenarios del mundo real donde:

Las imágenes de entrada pueden contener múltiples clases simultáneamente (objetos múltiples).
La representación de la población de imágenes en el conjunto de prueba es desconocida o variable.

Los métodos tradicionales de umbralización, como la Curva Característica Operativa del Receptor (ROC), suelen calcularse durante el entrenamiento y no se adaptan fácilmente a entornos en vivo o a configuraciones multiclase dinámicas. Además, la precisión calculada bajo supuestos de clase única falla cuando la entrada es compleja y multiclase.

2. Metodología

Los autores proponen tres métodos novedosos para determinar umbrales de precisión óptimos en conjuntos de datos multiclase, utilizando imágenes derivadas del conjunto CIFAR-10 (creadas mediante la combinación aleatoria de 4 imágenes en una cuadrícula 2x2).

Método 1 (ROC basado en Distribución Normal):
- Se crean dos curvas de distribución normal de softmax basadas en las tasas de Verdaderos Positivos (TPR) y Verdaderos Negativos (TNR).
- Se utiliza la Función de Distribución Acumulada (CDF) para aproximar los valores integrales desde un umbral arbitrario ( $T_1$ ) hasta el infinito.
- Esto genera una curva ROC novel que permite calcular el umbral máximo ( $T_{max}$ ) basándose en la distancia perpendicular a la línea de AUC = 0.5.
Método 2 (Enfoque de "Fuerza Bruta" o Escenario "What-If"):
- Se reorganizan los arrays de probabilidades originales (Positivos y Negativos) mediante un proceso iterativo.
- Se prueba un rango de umbrales incrementales (ej. de 0.05 a 0.68) para redistribuir los datos en nuevos arrays de Verdaderos Positivos (TP), Falsos Positivos (FP), Falsos Negativos (FN) y Verdaderos Negativos (TN).
- Se genera una curva ROC para cada iteración, seleccionando aquella con el mayor Área Bajo la Curva (AUC) y calculando su punto de "rodilla" (knee) para determinar el umbral óptimo.
Método 3 (Método de la Rodilla o "Knee" Ad-hoc):
- Diseñado específicamente para entornos de entrenamiento, prueba y producción en vivo donde no se puede esperar a un entrenamiento completo.
- Las probabilidades de salida de la imagen multiclase se ordenan en ascenso y se grafican.
- Se calcula el valor de "rodilla" (punto de máxima curvatura) directamente en la distribución de probabilidades de cada imagen individual para determinar si la detección es válida.

3. Contribuciones Clave

Adaptación Multiclase: Propone una arquitectura y metodología para aplicar transformadores compactos (CCT) a la detección de múltiples objetos en una sola imagen, superando la limitación de detección de clase única.
Nuevas Técnicas de Umbralización: Introduce la aplicación de la CDF y métodos de reordenamiento de arrays (Método 2) para generar curvas ROC en contextos multiclase, algo no estándar en la literatura actual.
Flexibilidad en Vivo: El Método 3 ofrece una solución "ad-hoc" para calcular umbrales en tiempo real sin depender de curvas ROC precalculadas, lo cual es crucial para sistemas desplegados donde la distribución de datos puede cambiar.
Integración de Arquitecturas: Demuestra la viabilidad de combinar la eficiencia computacional de los transformadores con modelos de detección de objetos como YOLO y Faster R-CNN.

4. Resultados

Los experimentos se realizaron utilizando un modelo preentrenado CCT-7/3x1 en un conjunto de datos generado con 500 imágenes multiclase (2x2 grids) de CIFAR-10.

Comparación de Métodos 1 y 2: El Método 2 (reordenamiento iterativo) generó curvas ROC con un AUC superior al del Método 1. Se identificó un umbral óptimo de 0.72 para el conjunto de datos, calculado a partir del punto de rodilla de la curva con mejor rendimiento.
Análisis del Método 3 (Rodilla):
- Se encontró una correlación clara entre la probabilidad máxima y el valor de la rodilla.
- Cuando la probabilidad máxima de una imagen es ≥ 0.35, los valores de rodilla son consistentemente mayores a 6 (92.5% de los casos en este rango).
- Cuando la probabilidad máxima es < 0.35, los valores de rodilla son inconsistentes o inexistentes.
Conclusión de los Resultados: El Método 2 es más adecuado para objetos multiclase pequeños (baja probabilidad/confianza), mientras que el Método 3 es altamente efectivo para objetos grandes o de alta confianza (probabilidad ≥ 0.35).

5. Significado e Impacto

Este trabajo representa un paso fundamental hacia la aplicación de arquitecturas ligeras basadas en transformadores en escenarios de visión por computadora complejos y dinámicos.

Superación de Limitaciones: Resuelve el problema de cómo calcular la precisión y los umbrales cuando la población de imágenes es desconocida o contiene múltiples clases, un escenario común en aplicaciones reales que los métodos tradicionales de ROC no manejan bien.
Eficiencia y Escalabilidad: Al utilizar el método de la rodilla (Knee) en tiempo real, se reduce la dependencia de reentrenamiento constante, permitiendo que los sistemas se adapten a nuevas distribuciones de datos sin intervención manual.
Futuro de la Investigación: Abre la puerta a investigar cómo identificar clases sin conocer de antemano el número de categorías en la imagen, sugiriendo que la combinación de métodos de rodilla con arquitecturas de transformadores puede llevar a resultados de vanguardia en detección de objetos.

En resumen, el artículo valida que, para la detección multiclase en entornos inciertos, el uso de umbrales dinámicos basados en el método de la rodilla (especialmente el Método 3) o la optimización de curvas ROC mediante reordenamiento (Método 2) es superior a los enfoques estáticos tradicionales.