DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction

Résumé Technique : DOREMI – Optimiser les prédictions de la longue traîne dans l'extraction de relations au niveau du document

Énoncé du problème
L'extraction de relations au niveau du document (DocRE) est confrontée à deux défis majeurs : la nécessité d'un contexte inter-phrasal pour identifier les relations et la distribution sévère de type « longue traîne » des types de relations. Dans les jeux de données standards comme DocRED et Re-DocRED, un petit nombre de relations fréquentes domine les données d'entraînement, tandis que la majorité des relations (la longue traîne) possède peu d'exemples d'entraînement (souvent moins de 100 instances). Ce déséquilibre des classes biaise les modèles vers les relations fréquentes, dégradant leur capacité à identifier avec précision les relations rares. De plus, les approches existantes pour atténuer le bruit dans les jeux de données de supervision distante (DS), telles que UGDRE, échouent souvent à traiter spécifiquement les relations de la longue traîne ou reposent sur des données bruitées à grande échelle qui exacerbent le biais. Bien que les grands modèles de langage (LLM) soient prometteurs, ils sont actuellement moins performants que les modèles séquentiels de pointe pour cette tâche spécifique.

Méthodologie : Le cadre DOREMI
Les auteurs proposent DOREMI (DOcument-level Relation Extraction optiMizing the long taIl), un cadre itératif, impliquant l'humain dans la boucle (human-in-the-loop), conçu pour améliorer les relations sous-représentées grâce à des annotations manuelles minimales et ciblées. Contrairement aux stratégies de débruitage précédentes qui reposent sur un filtrage heuristique ou des données DS à grande échelle, DOREMI sélectionne activement les exemples les plus informatifs pour améliorer l'efficacité et la robustesse de l'entraînement.

Le cadre fonctionne via les blocs de calcul suivants :

1. Ensemble de modèles de base : DOREMI maintient un ensemble ($\Gamma$) de $n$ modèles de base DocRE diversifiés (spécifiquement CNN, LSTM, BiLSTM, ContextAware et des modèles basés sur BERT). Ces modèles sont initialement pré-entraînés sur les données annotées par l'humain (HA) disponibles.
2. Calcul du désaccord : Les modèles prédisent les relations sur le jeu de données DS bruité. Pour chaque paire d'entités $(s, o)$, le système calcule le désaccord ($\phi_\Gamma$) entre les modèles. Le désaccord est calculé sur la base de la probabilité que les modèles prédisent tous une relation ou prédisent tous l'absence de relation. Pour gérer la nature multi-étiquette de la DocRE, le désaccord global est dérivé du produit des désaccords par relation. Une transformation logarithmique est appliquée pour amplifier les petites différences et améliorer l'interprétabilité.
3. Échantillonnage et annotation itératifs : Le système identifie les exemples « difficiles à classifier » en sélectionnant les $k$ meilleures paires d'entités présentant les scores de désaccord les plus élevés. Crucialement, cet échantillonnage est restreint aux triplets de la longue traîne candidats (où au moins un modèle prédit une relation de la longue traîne) afin de garantir que les efforts d'annotation ciblent le goulot d'étranglement spécifique des performances.
4. Agrégation des étiquettes : Une fois qu'une condition d'arrêt est remplie (soit le désaccord moyen descend en dessous d'un seuil $\epsilon$, soit le budget d'annotation $b$ est épuisé), les prédictions sont agrégées pour construire un jeu de données de supervision distante débruité (DDS). Un filtre orienté vers la précision est appliqué : une relation est conservée dans le DDS final uniquement si au moins un modèle la prédit avec une confiance élevée (au-dessus d'un seuil $\tau$).
5. Entraînement itératif : Les échantillons sélectionnés sont annotés manuellement, ajoutés au pool d'entraînement, et les modèles de base sont affinés (fine-tuned) sur le jeu de données élargi. Ce cycle se répète jusqu'à ce que la condition d'arrêt soit atteinte.

Principales contributions

1. Cadre DOREMI : L'introduction d'un nouveau système itératif adapté aux relations de la longue traîne qui améliore les jeux de données de supervision distante grâce à des annotations pilotées par le désaccord.
2. Le désaccord comme proxy : La démonstration que la mesure du désaccord entre plusieurs modèles est un proxy efficace pour identifier les exemples difficiles à classifier spécifiquement pour la DocRE, produisant des améliorations de performance substantielles avec un effort humain négligeable.
3. Nouveaux jeux de données : La publication de deux nouveaux jeux de données de supervision distante débruités (DDS) basés sur DocRED et Re-DocRED. Ces jeux de données sont explicitement optimisés pour les relations de la longue traîne et sont conçus pour être agnostiques au modèle, permettant à n'importe quel modèle DocRE en aval de bénéficier d'une couverture améliorée de la longue traîne.

Résultats expérimentaux
Les auteurs ont évalué DOREMI en utilisant des modèles de référence de pointe (ATLOP et DREEAM) sur le jeu de développement DocRED et sur le jeu de test Re-DocRED.

• DocRED : L'annotation de seulement 0,001 % du jeu de données DS (400 triplets) a considérablement amélioré les performances du modèle. Comparé à la principale technique de débruitage (UGDRE), DOREMI a augmenté la précision globale jusqu'à +8,2 % et le F1 de +0,7 %. Pour les triplets de la longue traîne (<100 exemples), la précision a augmenté de +76,0 % et le F1 de +5,0 %. Notamment, pour les triplets de la longue traîne impliquant des paires d'entités non vues lors de l'entraînement, DOREMI a boosté le F1 ignoré (ignF1) jusqu'à 28,7 % et la précision ignorée (ignPrecision) de 137,6 % par rapport à UGDRE.
• Re-DocRED : Sur le jeu de données plus large Re-DocRED, l'annotation de 0,003 % (1 200 triplets) a entraîné un gain de +16,2 % sur la précision de la longue traîne et de +19,2 % sur l'ignPrecision. Pour les triplets de la « longue traîne extrême » (<100 exemples), DOREMI a obtenu une augmentation de +83,2 % de la précision et de +207,9 % de l'ignPrecision par rapport à UGDRE, avec un gain d'ignF1 de +33,5 %.
• Approche hybride : Un réglage hybride, combinant DOREMI pour les relations de la longue traîne et UGDRE pour les relations fréquentes, a démontré que DOREMI complète efficacement les approches de débruitage existantes, produisant des améliorations supplémentaires sur les métriques globales.

Signification et affirmations
L'article affirme que DOREMI offre une solution évolable et efficace au problème du biais de la longue traîne dans la DocRE. En privilégiant la précision sur le rappel dans sa conception, DOREMI garantit la fiabilité des relations extraites, ce qui est crucial pour les tâches de construction de bases de connaissances (KBC) en aval. Les auteurs soulignent que leur approche atteint des gains de performance significatifs avec un coût d'annotation humaine minimal (environ 20 heures d'annotateur pour l'expérience Re-DocRED). Ce travail établit que l'apprentissage actif basé sur le désaccord est une stratégie viable et efficace pour adapter les jeux de données afin d'améliorer la généralisation sur les relations rares, marquant le premier effort d'application d'une telle approche spécifiquement à la DocRE. Le cadre et les jeux de données résultants constituent une base pour entraîner des modèles DocRE arbitraires dotés de capacités améliorées pour gérer les distributions de la longue traîne.