Resumen Técnico: Calibración de Fiabilidad a Nivel de Entidad Post-hoc para el Reconocimiento de Entidades Nombradas mediante Características de Múltiples Fuentes

1. Definición del Problema

Aunque los Modelos de Lenguaje Preentrenados (PLM) han impulsado el rendimiento del Reconocimiento de Entidades Nombradas (NER) hacia la saturación en los benchmarks estándar (por ejemplo, CoNLL-2003), los protocolos de evaluación existentes pasan por alto en gran medida la fiabilidad de la confianza de la predicción. En el despliegue en el mundo real, los modelos suelen exhibir el fenómeno de "exceso de confianza pero error" (overconfident but wrong), particularmente bajo cambios de distribución como la transferencia de dominio (Fuera de Distribución/OOD), tokens Fuera del Vocabulario (OOV) y ruido (errores tipográficos).

Las limitaciones actuales incluyen:

• Desajuste de Granularidad: La mayoría de los métodos de calibración operan a nivel de oración o de token, fallando al abordar la fiabilidad de grano fino de las predicciones de entidades individuales.
• Limitación de Señales: La calibración de nivel de entidad existente (por ejemplo, Jagannatha y Yu, 2020) depende únicamente de las puntuaciones de probabilidad internas del modelo, ignorando la información de múltiples fuentes como los estados de representación, la semántica del tipo y el contexto estructural.
• Tensión entre Calibración y Detección: Los métodos de calibración tradicionales pueden mejorar el Error de Calibración Esperada (ECE) pero, inadvertidamente, reducen la separabilidad entre las predicciones correctas e incorrectas, dificultando así las capacidades de detección de errores y de predicción selectiva.

El artículo aborda la necesidad de un marco que genere una probabilidad de corrección calibrada para cada entidad predicha sin modificar el backbone de NER subyacente, permitiendo tareas downstream como la detección de errores, la clasificación de riesgo y el rechazo de predicciones.

2. Metodología

El enfoque propuesto es un marco de calibración post-hoc de fiabilidad. Trata al modelo de NER de backbone como una caja negra congelada, convirtiendo sus predicciones a nivel de oración en muestras independientes a nivel de entidad para entrenar un calibrador ligero.

2.1 Construcción de Muestras a Nivel de Entidad

El modelo de backbone genera un conjunto de entidades predichas $\hat{E}$. Cada entidad se convierte en una muestra con una etiqueta de supervisión binaria ($y=1$ para coincidencia exacta estricta con las entidades de oro, $y=0$ de lo contrario). Esto desacopla el modelado de la fiabilidad del objetivo original de NER.

2.2 Sistema de Características de Múltiples Fuentes de Cinco Dimensiones

La innovación central es la extracción de un vector de características $\phi_i$ para cada entidad predicha, que comprende cinco dimensiones complementarias:

1. Características de Incertidumbre: Derivadas de la distribución de probabilidad de clase $p(c|\hat{e}, x)$.
   • Probabilidad Máxima de Clase ($s_{max}$): Señal directa de confianza.
   • Entropía Predictiva ($H$): Mide la dispersión de la distribución.
   • Margen ($M$): Diferencia entre las dos probabilidades de clase superiores, capturando la competencia interclase.
2. Características de Representación: Captura los estados semánticos y de frontera internos.
   • Representación de Span ($h_{span}$): Estado medio (mean-pooled) de los estados ocultos del span de la entidad.
   • Representaciones de Frontera ($h_{start}, h_{end}$): Estados ocultos en los tokens de inicio y fin, cruciales para detectar desplazamientos de frontera y truncamientos.
3. Características Semánticas de Tipo: Aborda la consistencia entre el span de la entidad predicha y su categoría.
   • En lugar de una similitud de coseno de espacio cruzado explícita (que introduce sesgo métrico), el método utiliza el vector semántico ($z_{c_{pred}}$) del tipo predicho (codificado mediante un codificador preentrenado) concatenado directamente con otras características.
4. Características Estructurales: Indicios estructurales explícitos que reflejan la dificultad inherente de la entidad.
   • Incluye la longitud de la entidad, la longitud de la oración, la posición relativa y los indicadores binarios para spans anidados o discontinuos.
   • Incluye un índice de cubetas (bucket index) de longitud de span para discretizar la complejidad.
5. Características de Vecindario: Aprovecha la estructura local del espacio de representación de entrenamiento.
   • Utilizando un índice FAISS sobre las representaciones de los spans de entrenamiento, el método recupera los $k$ vecinos más cercanos.
   • Las características incluyen: distancia promedio ($\bar{d}_k$), distancia mínima ($d_{min}$), proporción de vecinos correctos ($\rho_{corr}$), densidad local ($dens$) y entropía de etiqueta dentro del vecindario ($H_{knn}$).

2.3 Calibrador Ligero

Un Perceptrón Multicapa (MLP) con dos capas ocultas mapea el vector de características concatenado a una probabilidad de corrección escalar $r(\hat{e}) \in (0, 1)$.

• Entrenamiento: El calibrador se entrena exclusivamente con muestras a nivel de entidad del conjunto de validación utilizando una pérdida de entropía cruzada binaria con ponderación de clase.
• Inferencia: Los parámetros del modelo de backbone y los resultados de la decodificación permanecen congelados; el calibrador actúa como un módulo de post-procesamiento no invasivo.

3. Contribuciones Clave

1. Diseño del Marco: Propone un marco de calibración post-hoc a nivel de entidad que genera probabilidades de corrección calibradas aptas para tareas de fiabilidad downstream (detección de errores, clasificación de riesgo, rechazo) sin alterar la arquitectura del backbone.
2. Ingeniería de Características: Diseña un sistema de características de múltiples fuentes de cinco dimensiones (incertidumbre, representación, semántica de tipo, estructura, vecindario) y valida las contribuciones independientes y complementarias de cada dimensión mediante estudios de ablación.
3. Evaluación Orientada al Despliegue: Construye una evaluación exhaustiva que cubre escenarios de distribución interna (ID) y de cambio de distribución (OOD, OOV, Errores Tipográficos), utilizando tres métricas principales:
   • AUPRC: Capacidad de detección de errores (clasificar las entidades correctas por encima de las incorrectas).
   • AURC: Calidad de la predicción selectiva (compromiso entre riesgo y cobertura).
   • ECE: Calidad de la calibración de probabilidad (alineación de las puntuaciones predichas con la precisión empírica).

4. Resultados Experimentales

Los experimentos se realizaron en CoNLL-2003, GENIA y OntoNotes 4.0.

4.1 Rendimiento en la Distribución Interna (In-Distribution)

• Detección de Errores: El AUPRC mejoró significativamente en todos los conjuntos de datos. En CoNLL-2003, el AUPRC aumentó de 0.9490 a 0.9929.
• Predicción Selectiva: El AURC (Riesgo-Cobertura) disminuyó sustancialmente, indicando un menor riesgo al mismo nivel de cobertura. En CoNLL-2003, el AURC cayó de 0.0514 a 0.0095 (una reducción del 81.5%).
• Calibración: El ECE mejoró, con CoNLL-2003 bajando de 0.0648 a 0.0156.

4.2 Rendimiento bajo Cambio de Distribución

El método demostró robustez bajo cambios de distribución:

• OOD (Transferencia de Dominio): Mostró la mejora más pronunciada, con un aumento del AUPRC de 0.8291 a 0.9409. Las características de vecindario fueron particularmente efectivas aquí, proporcionando señales de referencia para entidades fuera de dominio.
• OOV y Errores Tipográficos: Se observaron mejoras consistentes, aunque las ganancias fueron ligeramente más modestas en escenarios OOV debido a la ausencia de vecinos cercanos para tokens no vistos.

4.3 Comparación y Ablación

• Baselines: El método propuesto superó significativamente a Platt Scaling y Temperature Scaling en AUPRC y AURC, aunque los baselines mostraron un ECE ligeramente mejor en algunos casos (ya que se centran únicamente en la alineación de la probabilidad).
• Ablación: Eliminar cualquier dimensión de características generalmente degradó el rendimiento, aunque métricas específicas mostraron compromisos matizados. Las características de representación proporcionaron el mayor salto en AUPRC (de 0.9502 a 0.9890). Si bien la configuración "Full" (con características de vecindario) logró el ECE más bajo (0.0100), la configuración "Full (w/o Neigh)" de hecho logró un AUPRC ligeramente mayor (0.9922 frente a 0.9921) y un AURC menor (0.0102 frente a 0.0103). Esto indica que, si bien las características de vecindario mejoran significamente la calidad de la calibración de probabilidad, su impacto marginal en la clasificación de detección de errores en escenarios de distribución interna es limitado, aunque siguen siendo críticas para minimizar el ECE.

5. Significación y Reivindicaciones

El artículo sostiene que su principal significación radica en el cambio del paradigma de fiabilidad de NER de "predecir la corrección" a "estimar la confiabilidad".

• Control de Riesgo: Las puntuaciones calibradas identifican eficazmente las predicciones de alto riesgo. Por ejemplo, en CoNLL-2003, rechazar solo el 2.9% de las predicciones (aquellas con puntuaciones calibradas bajas) aumentó la precisión del conjunto restante al 94.76%, mientras que el conjunto rechazado contenía el 82.93% de los errores.
• Viabilidad de Ingeniería: A diferencia de los métodos que requieren el reentrenamiento del backbone o rediseños complejos de decodificación, este enfoque es plug-and-play. Requiere solo un MLP ligero entrenado con datos de validación, lo que lo hace altamente factible para el despliegue en el mundo real.
• Fiabilidad Integral: El método resuelve la tensión entre la calibración y la detección de errores, mejorando simultáneamente la alineación de la probabilidad (ECE) y la capacidad de filtrar errores (AUPRC/AURC).

Los autores concluyen que este marco proporciona un mecanismo robusto y no invasivo para mejorar la aplicabilidad práctica de los sistemas de NER en entornos de mundo abierto donde prevalecen los cambios de distribución y el ruido. Se sugiere como trabajo futuro extender esto a otras tareas de predicción estructurada (extracción de relaciones/eventos) y paradigrmas de NER generativos.