CCS: A Continuous Spatial-Semantic Concordance Score for Robust Evaluation of Object Detection Models

Imagina que eres un juez en un concurso de talentos donde los concursantes intentan encontrar objetos ocultos en una habitación gigante y desordenada. En el mundo de la visión por computadora, estos "concursantes" son modelos de IA, y los "objetos" son cosas como gatos, coches o, en este caso específico, diferentes tipos de síntomas de la lengua para la Medicina Tradicional China. Durante años, los jueces han utilizado un libro de reglas muy estricto y de todo o nada: si la IA dibuja un cuadro alrededor de un objeto que se superpone con el objeto real en al menos un 50%, recibe un sello perfecto de "correcto". Si el cuadro se superpone solo un 49%, la IA recibe un sello de "incorrecto" y la puntuación es exactamente la misma que si la IA hubiera pasado por alto el objeto por completo. Es como una competencia de baile donde una bailarina que falla un paso por un milímetro recibe la misma puntuación que alguien que olvidó toda la rutina. Esta regla de "umbral rígido" es la forma estándar de medir qué tan buenos son estos detectives de IA, pero tiene un defecto: ignora el hecho de que algunos errores están mucho más cerca de ser correctos que otros.

Ahora, imagina a un nuevo tipo de juez que no solo mira el cuadro, sino que también escucha la intención de la suposición. Este nuevo juez entiende que si una IA dice "lengua roja" cuando la respuesta real era "lengua con manchas rojas", no es un fallo total; es un casi acierto que demuestra que la IA realmente entiende la idea general. Este artículo presenta un nuevo sistema de puntuación llamado CCS (Puntuación de Concordancia Semántico-Espacial Continua) que actúa como este juez más inteligente. En lugar de un simple interruptor de "pasa/no pasa", el CCS otorga crédito parcial. Utiliza las matemáticas para medir qué tan cerca está el cuadro de la IA del real (incluso si no se tocan) y qué tan cerca está la etiqueta de la IA de una etiqueta en un árbol genealógico de términos médicos. Los autores lo probaron en seis modelos de IA diferentes que intentaban detectar síntomas de la lengua y descubrieron que, mientras que las viejas reglas estrictas hacían que las clasificaciones saltaran salvajemente dependiendo de pequeños cambios en las reglas, este nuevo puntaje CCS se mantuvo estable y justo, reconociendo que un "casi acierto" es en realidad una señal de progreso, no solo un fallo.

El problema con la puntuación de "todo o nada"

Durante mucho tiempo, la forma estándar de calificar los detectores de objetos de IA ha sido como un juego de "caliente o frío" con un corte muy afilado. Si tu suposición es lo suficientemente "caliente" (es decir, el cuadro se superpone con el objeto real en al menos un 50%), obtienes un punto. Si es "fría" (49.9% de superposición), obtienes cero. Este es el umbral IoU (Intersección sobre Unión). El problema es que esto crea un abismo. Un cuadro que es un 99% perfecto y un cuadro que es un 51% perfecto reciben exactamente la misma puntuación, mientras que un cuadro que es un 49% perfecto no recibe nada. Es como calificar el ensayo de un estudiante donde un trabajo con un pequeño error tipográfico recibe una A, pero un trabajo con ese mismo error más una coma faltante recibe una F.

Además, este viejo sistema trata todos los errores de etiqueta como igualmente malos. Si la IA ve una "lengua roja" pero la llama "lengua azul", es un error enorme. Pero si llama a una "lengua con manchas rojas" una "lengua roja", el viejo sistema la trata con la misma dureza que si llamara a una "lengua roja" una "lengua azul". En el mundo real de la medicina, confundir dos lenguas rojas similares es un error mucho menor y más perdonable que confundir lo rojo con lo azul. El viejo sistema de puntuación ignora este matiz por completo.

Entra el CCS: El juez de "crédito parcial"

Los autores de este artículo, Quoc Thai Mai, proponen un nuevo puntaje llamado CCS para solucionar estos problemas. Lo construyeron con dos partes principales, como un batido de dos ingredientes que sabe mejor que cualquiera de los ingredientes por separado.

1. La parte espacial (Csp): El cuadro "suave"
En lugar de tratar el cuadro de la IA como un rectángulo rígido con bordes duros, el CCS imagina el cuadro como una nube suave y difusa (matemáticamente, una distribución Gaussiana 2D). Piensa en ello como un mapa de calor: el centro del cuadro es el más caliente (más confiable) y se va enfriando a medida que te mueves hacia los bordes. Cuando la nube difusa de la IA se superpone con la nube difusa del objeto real, la puntuación no cae a cero solo porque no se alineen perfectamente. En cambio, disminuye suavemente basándose en qué tan alejados están sus centros y qué tan diferentes son sus tamaños. Esto significa que un cuadro que está ligeramente descentrado todavía recibe una puntuación alta, en lugar de ser castigado tan duramente como un fallo total. Es la diferencia entre un juez que dice: "No diste en el blanco, pero estuviste cerca, así que aquí tienes una B", frente a "No diste en el blanco, así que aquí tienes una F".

2. La parte semántica (Csem): El "árbol genealógico" de los errores
Este es el segundo ingrediente ingenioso. Los autores organizaron los ocho diferentes síntomas de la lengua en un árbol genealógico (una taxonomía). Por ejemplo, "Lengua Roja" y "Lengua con Manchas Rojas" son hermanos en la rama de "Color", mientras que "Lengua Agrandada" está en la rama de "Forma". Si la IA dice "Lengua Roja" pero la verdad de base es "Lengua con Manchas Rojas", el viejo sistema dice "Incorrecto". El sistema CCS mira el árbol genealógico, ve que son hermanos y dice: "Está bien, es una suposición cercana. Obtienes crédito parcial". Utiliza una herramienta matemática llamada similitud de Wu-Palmer para calcular exactamente qué tan cerca está la suposición de la verdad basándose en qué tan lejos están en el árbol genealógico. Si la IA dice "Lengua Roja" para un problema de "Forma", es un fallo total (crédito cero). Pero si dice "Lengua Roja" para una "Lengua con Manchas Rojas", obtiene una puntuación parcial alta.

Lo que encontraron: Estabilidad y justicia

El equipo probó este nuevo puntaje CCS contra seis versiones de un modelo de IA popular (YOLOv8, v10 y v11) en un conjunto de datos de síntomas de la lengua. Esto fue lo que sucedió:

• Las viejas reglas eran inestables: Cuando usaron las viejas reglas de "umbral rígido", la clasificación de los modelos de IA cambiaba drásticamente dependiendo de si fijaban el umbral en 0.3, 0.5 o 0.7. De hecho, para 5 de 15 pares de modelos, el "ganador" cambiaba dependiendo de qué regla usaran. Era como una carrera donde el ganador cambia solo porque la línea de meta se movió unos pocos centímetros.
• El CCS fue muy sólido: El puntaje CCS se mantuvo notablemente estable. No importaba cómo ajustaran la configuración, la clasificación de los modelos no cambiaba. El punt score de los modelos se mantuvo consistentemente entre 0.62 y 0.65, mientras que los viejos puntajes F1 cayeron significativamente (hasta un 16.9%) a medida que las reglas se volvían más estrictas.
• El rescate de los "casi aciertos": El estudio encontró que una parte significativa de lo que el viejo sistema llamaba "errores" eran en realidad solo "casi aciertos". Específicamente, el 39.5% de los errores cometidos en las clases más difíciles eran semánticamente cercanos (como confundir "Rojo" con "Rojo con Manchas"). El viejo sistema contaba estos como fallos totales, pero el CCS les dio crédito parcial, revelando que la IA en realidad estaba haciendo un trabajo mejor de lo que los viejos puntajes sugerían.
• El "mejor" modelo cambió: Bajo las viejas reglas estrictas (mAP), un modelo (YOLOv10n) parecía el ganador. Pero bajo las nuevas reglas de CCS, un modelo diferente (YOLOv8m) tomó el primer lugar. Esto sugiere que las viejas reglas favorecían a los modelos que eran buenos para dar en el centro exacto de píxeles, mientras que el CCS favoreció a los modelos que entendían mejor el concepto general y la forma de los síntomas.

Los límites: Lo que el CCS aún no hace

Los autores señalan cuidadosamente que el CCS no es una varita mágica que lo soluciona todo.

• Es un puntaje a "Nivel de Clase": Actualmente, el CCS cuenta una clase (como "Lengua Roja") como presente si la IA encuentra al menos un buen cuadro para ella. No penaliza a la IA si hay 20 manchas rojas en la lengua y la IA solo encuentra 1. El artículo señala que para algunos síntomas, como la "Lengua con Mancias Rojas", puede haber docenas de manchas en una sola imagen, y el método actual de CCS ignora las que se pasan por alto.
• El árbol genealógico es temporal: El "árbol genealógico" de los síntomas de la lengua que construyeron fue creado por los autores para que las matemáticas funcionaran, no por un panel de expertos médicos. Es un árbol "provisional". Si un médico real dice: "No, esos dos síntomas no están realmente relacionados", el puntaje tendría que recalcularse.
• Un solo conjunto de datos: Probaron esto en un solo conjunto de datos de imágenes de lengua. Aunque los resultados son prometedores, aún no sabemos si funciona perfectamente para detectar coches, tumores u otros objetos sin más pruebas.

La conclusión

Este artículo sugiere que necesitamos una nueva forma de calificar a los detectives de IA. El viejo sistema de "pasa/no pasa" es demasiado severo e inestable, castigando a la IA por estar ligeramente desviada e ignorando el hecho de que algunos errores son más inteligentes que otros. El puntaje CCS ofrece una forma más suave y justa de evaluar a la IA al otorgar crédito parcial por estar cerca en el espacio y cerca en el significado. Aunque no es un producto terminado listo para todas las aplicaciones médicas todavía, muestra una gran promesa para hacer que la evaluación de la IA sea más humana y clínicamente relevante, especialmente en campos como la Medicina Tradicional China donde las líneas entre los síntomas suelen ser difusas.