Instance-Level Costs for Nuanced Classifier Evaluation

Resumen Técnico: Costos a Nivel de Instancia para la Evaluación Matizada de Clasificadores

Enunciado del Problema
La evaluación estándar de clasificación se basa en tasas de error uniformes, tratando todos los errores de clasificación como igualmente costosos. Sin embargo, en dominios de alto riesgo como la moderación de contenido, el cribado médico y los sistemas críticos para la seguridad, las consecuencias de los errores varían significativamente. Clasificar incorrectamente un caso claro (por ejemplo, un comentario con acuerdo unánime de los anotadores sobre toxicidad) es mucho más perjudicial que equivocarse en un ejemplo limítrofe donde los anotadores humanos discrepan. Los métodos existentes de aprendizaje sensible a los costos suelen asumir que los costos se especifican externamente y son objetivamente cuantificables (por ejemplo, montos de fraude). Este artículo aborda la brecha donde los costos son subjetivos, derivados del desacuerdo humano o de umbrales de decisión, y no están definidos explícitamente por un libro mayor externo.

Metodología
Los autores proponen un marco para derivar y evaluar costos de clasificación errónea a nivel de instancia, introduciendo el Costo Excesivo Normalizado (NEC) como métrica principal.

1. Derivación de Costos: El marco asigna un costo a cada ejemplo basado en la magnitud del desacuerdo o la distancia desde un umbral de decisión. Se identifican tres fuentes naturales:

   • Etiquetas de múltiples anotadores: Los costos se derivan de las log-odds con signo de los votos de los anotadores (suavizados con Laplace). Un alto consenso genera altos costos por errores; un alto desacuerdo genera bajos costos.
   • Etiquetas basadas en umbrales: Los costos se definen por la distancia de una medición continua desde un umbral de decisión (por ejemplo, la presión arterial relativa a un corte de hipertensión).
   • Calificaciones anotadas: Las puntuaciones de confianza de un solo anotador se convierten en márgenes de costo.

2. Definición de la Métrica: El NEC se define como el arrepentimiento en un contexto de banda contextual. Pesa los errores por su costo a nivel de instancia ($|\Delta_i|$) y normaliza por el costo total:
   $$\text{NEC} = \frac{\sum |\Delta_i| \cdot \mathbb{1}[\hat{y}_i \neq \text{sign}(\Delta_i)]}{\sum |\Delta_i|}$$
   Cuando los costos son uniformes, el NEC se reduce a la tasa de error estándar. Un NEC más bajo indica una mejor alineación con las prioridades de la tarea, específicamente priorizando la clasificación correcta de ejemplos de alto costo (claros).

3. Estrategias de Entrenamiento: El artículo investiga si incorporar estos costos durante el entrenamiento mejora el rendimiento. Las estrategias comparadas incluyen:

   • Clasificación ponderada por costos: Ponderar la pérdida de entropía cruzada por $|\Delta_i|$.
   • Estrategias de muestreo: Sobremuestrear ejemplos de alto costo o filtrar los de bajo costo.
   • Regresión-$\Delta$: Entrenar un modelo para predecir directamente el margen con signo $\Delta$ mediante regresión, y luego aplicar un umbral en cero para la clasificación.

Contribuciones Clave

1. Marco General: Una metodología para derivar costos de clasificación errónea por ejemplo a partir de patrones de anotación subjetivos (desacuerdo) y vincularlos al concepto teórico-decisional de arrepentimiento.
2. Perspectiva de Evaluación: Demostración empírica en conjuntos de datos de texto, imagen y tabulares de que el NEC es a menudo sustancialmente más bajo que la tasa de error estándar. Esto revela que los modelos a menudo concentran los errores en ejemplos ambiguos y de bajo costo, en lugar de en casos claros.
3. Análisis de Entrenamiento: Un estudio comparativo que muestra que el entrenamiento sensible a los costos produce beneficios inconsistentes. Las mejoras ocurren principalmente cuando los costos son predecibles a partir de características de entrada (demostrado en controles sintéticos), mientras que los conjuntos de datos del mundo real muestran ganancias mixtas o negligibles de los enfoques estándar de ponderación de costos.

Resultados Experimentales
Los autores evaluaron el marco en cuatro conjuntos de datos: Jigsaw (toxicidad de texto), Turkey (detección de lesiones en imágenes), NHANES (hipertensión tabular) e iNaturalist (estado de cultivo de plantas), junto con un conjunto de datos sintético.

• NEC vs. Tasa de Error: Se observó una divergencia significativa. Por ejemplo, en el conjunto de datos Jigsaw con características TF-IDF, la tasa de error fue del 5.34%, mientras que el NEC fue solo del 1.76%. Esto indica que los errores del modelo se concentraron en ejemplos ambiguos donde incluso los humanos discrepaban, lo que sugiere que el sistema es más confiable en la práctica de lo que implica la precisión bruta.
• Eficacia del Entrenamiento:
  • Datos del mundo real: La ponderación de costos proporcionó resultados inconsistentes. En el conjunto de datos Turkey, redujo el NEC en un 14.5%, pero en iNaturalist, aumentó ligeramente el NEC. En Jigsaw y NHANES, los efectos fueron negligibles.
  • Datos sintéticos: En un entorno sintético donde los costos eran predecibles linealmente a partir de las características, la ponderación de costos mejoró significativamente el NEC (de 0.50% a 0.40%).
  • Ajuste fino: El ajuste fino de extremo a extremo de las incrustaciones (por ejemplo, RoBERTa, ResNet) produjo las mejoras más sustanciales tanto en NEC como en tasa de error, superando con creces a las estrategias de ponderación de costos aplicadas a incrustaciones congeladas.
• Estabilidad: La relación entre la Tasa de Error y el NEC se mantuvo estable a través de diferentes tamaños de modelo y tamaños de conjunto de entrenamiento, lo que sugiere que esta relación es una propiedad de la distribución de costos de la tarea y no de la arquitectura del modelo.

Significado y Afirmaciones
El artículo afirma que el NEC proporciona una evaluación más matizada y precisa del rendimiento del clasificador en dominios donde no todos los errores son iguales. Revela que los modelos a menudo funcionan bien en casos claros y de alto riesgo, mientras que fallan en los ambiguos, una distinción que las tasas de error estándar oscurecen.

Sin embargo, los autores son modestos respecto a la utilidad de estos costos para el entrenamiento. Presentan un "resultado negativo": incorporar costos a nivel de instancia en el entrenamiento mediante ponderación de pérdidas o muestreo no mejora consistentemente el rendimiento en entornos del mundo real. El artículo concluye que la efectividad del entrenamiento sensible a los costos depende críticamente de si las características de entrada contienen información predictiva de la señal de costo. En consecuencia, los autores argumentan que mejorar la calidad de la representación (mediante ajuste fino o mejores incrustaciones) es el principal cuello de botella y ofrece mayores retornos que las estrategias de entrenamiento sensibles a los costos. El marco se presenta principalmente como una metodología para derivar y evaluar costos, ofreciendo una lente práctica para la evaluación incluso cuando el entrenamiento sensible a los costos ofrece beneficios limitados.