Resumen Técnico: RAPT para Clasificación Multi-Etiqueta

Enunciado del Problema

En las tuberías industriales de comprensión de documentos multi-etiqueta, la transición desde la salida del modelo (vectores de puntuación) hasta un conjunto final de etiquetas asignadas constituye un cuello de botella crítico. Aunque los clasificadores generan puntuaciones de confianza por etiqueta, determinar el punto de corte (umbral) óptimo para seleccionar el conjunto final de etiquetas es un desafío debido a varios factores:

• Cardinalidad Dependiente de la Instancia: El número de etiquetas relevantes varía significativamente entre documentos.
• Costos de Error Asimétricos: Los falsos positivos (etiquetas espurias) y los falsos negativos (etiquetas omitidas) tienen consecuencias operativas diferentes, a menudo desencadenando flujos de trabajo de extracción o verificación incorrectos aguas abajo.
• Heterogeneidad de Datos: Los entornos industriales implican OCR ruidoso, distribuciones de etiquetas desequilibradas y formatos de documentos en evolución, lo que hace que los umbrales estáticos globales sean frágiles y difíciles de mantener.
• Restricciones de Despliegue: Las soluciones existentes a menudo requieren reentrenar modelos u optimizaciones complejas por etiqueta, lo cual es poco práctico para sistemas heredados o colecciones de documentos en cambio rápido.

Metodología: RAPT

Los autores proponen RAPT (Umbralización Post-hoc Aumentada por Recuperación), un envoltorio agnóstico al modelo que aplica el Razonamiento Basado en Casos (CBR) para adaptar las decisiones de umbralización en tiempo de inferencia sin reentrenar el clasificador subyacente.

Componentes Principales

1. Construcción de la Base de Casos:

   • Construida a partir de datos de entrenamiento/validación existentes sin anotación adicional.
   • Cada caso $C$ consiste en una instancia de entrada $x$, una incrustación del modelo $z$, el vector de puntuación predicho por el modelo $\hat{Y}$ y el vector de etiquetas de verdad fundamental $Y$.
   • La evidencia de umbralización se deriva automáticamente analizando la discrepancia entre $\hat{Y}$ e $Y$ para cada instancia de entrenamiento.

2. Recuperación de Casos:

   • Para un documento de consulta, el sistema recupera los $k$ casos más similares de la base de casos utilizando la similitud coseno en el espacio de incrustaciones ($z_q$ vs. $z_i$).
   • Las puntuaciones de similitud sirven como pesos de importancia ($w_i$) para el paso de adaptación.

3. Adaptación del Vecindario (Refinamiento de Puntuación):

   • En lugar de una votación directa de etiquetas, RAPT adapta el vector de puntuación de la consulta $\hat{Y}_q$ utilizando correcciones residuales de los vecinos recuperados.
   • La puntuación adaptada para un vecino $i$ se calcula como: $Y_{q,i} = \hat{Y}_i + \Delta_{1,i} + \Delta_{2,i}$.
     • $\Delta_{1,i}$ (Adaptación del Modelo): Alinea el perfil de puntuación del vecino con la salida cruda de la consulta ($\hat{Y}_q - \hat{Y}_i$).
     • $\Delta_{2,i}$ (Corrección Residual): Transfiere el patrón de error del vecino ($Y_i - \hat{Y}_i$).
   • El vector de puntuación adaptado final $\tilde{Y}_q$ es un promedio ponderado por similitud de estos vectores corregidos.

4. Estrategias de Umbralización Dinámica:
   Las puntuaciones adaptadas se convierten en etiquetas binarias utilizando un umbral específico de consulta $\tau_q$ determinado por dos estrategias de vecindario:

   • AvgCount ($Rapt^\#$): Estima el número esperado de etiquetas activas ($k^*$) promediando la cardinalidad de los vecinos. El umbral se establece para seleccionar las $k^*$ puntuaciones superiores.
   • Calibración de Rango ($Rapt^\geq$): Calcula el umbral como el promedio ponderado de las puntuaciones de confianza mínimas asignadas a etiquetas positivas en el vecindario recuperado. Esto establece un "límite local" para lo que constituye una etiqueta positiva en contextos similares.

Contribuciones Clave

1. Marco para la Construcción Automatizada de Bases de Casos: Un método para construir una base de casos CBR a partir de datos de entrenamiento estándar, inferiendo evidencia de umbralización directamente de la verdad fundamental y las puntuaciones del modelo, eliminando la necesidad de anotación humana adicional.
2. Umbralización Dinámica Impulsada por Vecindario: Introducción de estrategias de adaptación específicas (AvgCount y Calibración de Rango) que utilizan información de error residual de instancias similares para ajustar los vectores de puntuación antes de la umbralización.
3. Evaluación Exhaustiva: Validación en un conjunto de datos industrial (WM Nicol) y seis benchmarks públicos (que abarcan dominios de noticias, legales, médicos y comercio electrónico), demostrando mejoras consistentes sobre líneas base estáticas.
4. Análisis de Eficiencia: Un estudio comparativo que muestra la superioridad de RAPT sobre Modelos de Lenguaje Grandes (LLMs) de pocos ejemplos en términos de velocidad de inferencia y consumo de recursos.

Resultados

Rendimiento en Datos Industriales y Públicos

• Entorno Industrial (WM Nicol): RAPT logró su mejor rendimiento con aprendices de métricas (específicamente ProtoNet), alcanzando un Macro-F1 de 0.87. Esto representó una ganancia relativa del 10.8% sobre un umbral global fijo (0.5) y una ganancia del 11.1% sobre un umbral optimizado globalmente.
• Backbones de Transformadores: Aunque los transformadores totalmente ajustados mostraron ganancias modestas (debido a puntuaciones ya calibradas), RAPT impulsó significativamente los modelos mal calibrados. Por ejemplo, un modelo BERT-base preentrenado mejoró de un Macro-F1 de 0.096 a 0.631 cuando se combinó con RAPT.
• Benchmarks Públicos: En 175 combinaciones de modelo-conjunto de datos (7 conjuntos de datos, 4 aprendices de métricas, 7 transformadores), RAPT superó a la mejor línea base estática (global, optimizada o por etiqueta) en 130 casos (74.3%), con una mejora promedio de Macro-F1 de +0.093.

Comparación de Eficiencia (WM Nicol)

Las configuraciones de RAPT demostraron ventajas sustanciales de eficiencia sobre las líneas base de LLMs de pocos ejemplos (Qwen3-32B):

• Velocidad de Inferencia: RAPT fue 115 veces más rápido (38–236 ms por documento frente a 27–48 segundos para LLMs).
• Uso de Memoria: RAPT requirió 13.5 veces menos memoria GPU ($\le$ 2.23 GB frente a >30 GB).
• Costo: RAPT ofreció costos significativamente más bajos normalizados por hardware, haciéndolo adecuado para flujos de trabajo industriales de alto rendimiento.

Modos de Fallo

Los autores identificaron dos modos de fallo específicos en el entorno industrial:

1. Falsos Positivos Impulsados por Co-ocurrencia: En casos donde las etiquetas co-ocurren frecuentemente (por ejemplo, "Nota de Residuos Peligrosos" y "Nota SEPA"), la recuperación de vecinos que contienen ambas etiquetas infló las puntuaciones, lo que llevó a predicciones espurias. La estrategia de Calibración de Rango ($Rapt^\geq$) mitigó parcialmente esto aplicando un umbral más conservador.
2. Ambigüedad Formato-Contenido: Cuando los formatos de documento (por ejemplo, pedidos de compra estilo correo electrónico) eran más similares que el contenido semántico, la calidad de la recuperación se degradó, reforzando decisiones incorrectas. Esto resalta la dependencia de la calidad del espacio de incrustaciones del backbone.

Significado y Afirmaciones

El artículo posiciona a RAPT como una solución orientada al despliegue para la "última milla" de la clasificación multi-etiqueta. Su significado principal radica en:

• Agnosticismo del Modelo: Actúa como un envoltorio para cualquier predictor que proporcione incrustaciones y puntuaciones (aprendices de métricas, transformadores ajustados), sin requerir cambios arquitectónicos ni reentrenamiento.
• Robustez ante la Evolución: Al depender de evidencia local de una base de casos, se adapta a formatos de documentos cambiantes y distribuciones de etiquetas sin necesidad de reentrenamiento continuo del modelo.
• Viabilidad Práctica: Cierra la brecha entre la alta precisión de modelos complejos y las restricciones operativas de tuberías industriales, ofreciendo un mecanismo ligero y post-hoc para mejorar la selección de conjuntos de etiquetas.
• Superioridad sobre LLMs: En el contexto de la clasificación de documentos, RAPT proporciona una alternativa más eficiente y rentable a los LLMs de pocos ejemplos, que sufren de alta latencia y sobrecarga de memoria a pesar de sus capacidades generativas.

Los autores concluyen que RAPT es particularmente valioso para organizaciones con clasificadores existentes que necesitan un mecanismo ligero para mejorar la robustez a medida que evolucionan sus colecciones de documentos.