DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction

Resumen Técnico: DOREMI – Optimizando las Predicciones de Larga Cola en la Extracción de Relaciones a Nivel de Documento

Planteamiento del Problema
La Extracción de Relaciones a Nivel de Documento (DocRE) enfrenta dos desafíos primarios: la necesidad de contexto entre oraciones para identificar relaciones y la severa distribución de larga cola de los tipos de relaciones. En conjuntos de datos estándar como DocRED y Re-DocRED, un pequeño número de relaciones frecuentes domina los datos de entrenamiento, mientras que la mayoría de las relaciones (larga cola) poseen escasos ejemplos de entrenamiento (a menudo menos de 100 instancias). Este desequilibrio de clases sesga a los modelos hacia las relaciones frecuentes, degradando su capacidad para identificar con precisión las relaciones raras. Además, los enfoques existentes para mitigar el ruido en los conjuntos de datos de Supervisión Distante (DS), como UGDRE, a menudo no abordan específicamente las relaciones de larga cola o dependen de datos ruidosos a gran escala que exacerban el sesgo. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) muestran potencial, actualmente tienen un rendimiento inferior en comparación con los modelos de secuencia de vanguardia para esta tarea específica.

Metodología: El Marco de Trabajo DOREMI
Los autores proponen DOREMI (DOcument-level Relation Extraction optiMizing the long taIl), un marco iterativo de "humano en el bucle" diseñado para mejorar las relaciones subrepresentadas mediante anotaciones manuales mínimas y dirigidas. A diferencia de las estrategias de eliminación de ruido anteriores que dependen de filtrado heurístico o datos de DS a gran escala, DOREMI selecciona activamente los ejemplos más informativos para mejorar la eficiencia y la robustez del entrenamiento.

El marco opera a través de los siguientes bloques computacionales:

1. Ensamble de Modelos Principales: DOREMI mantiene un grupo ($\Gamma$) de $n$ modelos de núcleo de DocRE diversos (específicamente modelos basados en CNN, LSTM, BiLSTM, ContextAware y BERT). Estos modelos son preentrenados inicialmente en los datos disponibles de Anotación Humana (HA).
2. Cómputo de Desacuerdo: Los modelos predicen relaciones sobre el conjunto de datos DS ruidoso. Para cada par de entidades $(s, o)$, el sistema computa el desacuerdo ($\phi_\Gamma$) entre los modelos. El desacuerdo se calcula basándose en la probabilidad de que los modelos predigan todos una relación o todos "ninguna relación". Para manejar la naturaleza multietiqueta de DocRE, el desacuerdo general se deriva del producto de los desacuerdos por relación. Se aplica una transformación logarítmica para amplificar las pequeñas diferencias y mejorar la interpretabilidad.
3. Muestreo y Anotación Iterativa: El sistema identifica ejemplos "Difíciles de Clasificar" seleccionando los $k$ pares de entidades con las puntuaciones de desacuerdo más altas. Crucialmente, este muestreo se restringe a tripletas de larga cola candidatas (donde al menos un modelo predice una relación de larga cola) para asegurar que los esfuerzos de anotación apunten al cuello de botella específico de rendimiento.
4. Agregación de Etiquetas: Una vez que se alcanza una condición de parada (ya sea que el desacuerdo medio caiga por debajo de un umbral $\epsilon$ o se agote el presupuesto de anotación $b$), las predicciones se agregan para construir un conjunto de datos de Supervisión Distante Denso (DDS). Se aplica un filtro orientado a la precisión: una relación se retiene en el DDS final solo si al menos un modelo la predice con alta confianza (por encima de un umbral $\tau$).
5. Entrenamiento Iterativo: Los ejemplos seleccionados se anotan manualmente, se añaden al grupo de entrenamiento y los modelos principales se ajustan (fine-tuning) sobre el conjunto de datos expandido. Este ciclo se repite hasta que se alcanza la condición de parada.

Contribuciones Clave

1. Marco DOREMI: La introducción de un nuevo sistema iterativo adaptado para relaciones de larga cola que mejora los conjuntos de datos de supervisión distante mediante anotaciones impulsadas por el desacuerdo.
2. El Desacuerdo como Proxy: La demostración de que medir el desacuerdo entre múltiples modelos es un proxy efectivo para identificar ejemplos Difíciles de Clasificar específicamente para DocRE, produciendo mejoras sustanciales de rendimiento con un esfuerzo humano insignificante.
3. Nuevos Conjuntos de Datos: El lanzamiento de dos nuevos Conjuntos de Datos de Supervisión Distante Denso (DDSs) basados en DocRED y Re-DocRED. Estos conjuntos están explícitamente optimizados para relaciones de larga cola y están diseñados para ser agnósticos al modelo, permitiendo que cualquier modelo de DocRE posterior se beneficie de una mejor cobertura de larga cola.

Resultados Experimentales
Los autores evaluaron DOREMI utilizando líneas base de vanguardia (ATLOP y DREEAM) tanto en el conjunto de desarrollo de DocRED como en el de prueba de Re-DocRED.

• DocRED: Anotar apenas el 0.001% del conjunto de datos DS (400 tripletas) mejoró significativamente el rendimiento del modelo. Comparado con la técnica de eliminación de ruido líder (UGDRE), DOREMI aumentó la precisión general en hasta +8.2% y el F1 en +0.7%. Para las tripletas de larga cola (<100 ejemplos), la precisión aumentó en +76.0% y el F1 en +5.0%. Notablemente, para las tripletas de larga cola que involucran pares de entidades no vistos en el entrenamiento, DOREMI aumentó el F1 ignorado (ignF1) hasta en un 28.7% y la Precisión ignorada (ignPrecision) en un 137.6% en relación con UGDRE.
• Re-DocRED: En el conjunto de datos más grande Re-DocRED, anotar el 0.003% (1,200 tripletas) resultó en una ganancia de +16.2% en precisión de larga cola y +19.2% en ignPrecision. Para las tripletas de "larga cola extrema" (<100 ejemplos), DOREMI logró un aumento de +83.2% en precisión y un aumento de +207.9% en ignPrecision en comparación con UGDRE, con una ganancia de ignF1 de +33.5%.
• Enfoque Híbrido: Un entorno híbrido, que combina DOREMI para relaciones de larga cola y UGDRE para relaciones frecuentes, demostró que DOREMI complementa eficazmente los enfoques de eliminación de ruido existentes, produciendo mejoras adicionales en las métricas generales.

Significancia y Reivindicaciones
El artículo afirma que DOREMI ofrece una solución escalable y eficiente al problema del sesgo de larga cola en DocRE. Al priorizar la precisión sobre el recuerdo (recall) en su diseño, DOREMI asegura la fiabilidad de las relaciones extraídas, lo cual es crucial para las tareas de Construcción de Bases de Conocimiento (KBC) posteriores. Los autores enfatizan que su enfoque logra ganancias de rendimiento significativas con un costo de anotación humana mínimo (aproximadamente 20 horas de anotador para el experimento de Re-DocRED). El trabajo establece que el aprendizaje activo basado en el desacuerdo es una estrategia viable y efectiva para adaptar los conjuntos de datos para mejorar la generalización en relaciones raras, marcando el primer esfuerzo en aplicar tal enfoque específicamente a DocRE. El conjunto de datos y la metodología resultantes proporcionan una base para entrenar modelos de DocRE arbitrarios con capacidades mejoradas para manejar distribuciones de larga cola.