Résumé technique : DistilledGemma pour l'extraction de relations Personne-Lieu

Définition du problème

Le document traite du défi de l'extraction de relations Personne-Lieu à partir d'articles de journaux historiques multilingues, spécifiquement dans le cadre de la tâche partagée HIPE-2026. L'objectif est de classifier la relation entre les entités « personne » et « lieu » extraites dans des textes anglais, allemands et français. La tâche consiste à prédire deux relations spécifiques :

1. at : Si la personne a déjà été associée au lieu (labels : TRUE, PROBABLE, FALSE).
2. isAt : Si la personne se trouve au lieu dans l'horizon temporel immédiat de l'article (labels : TRUE, FALSE).

La tâche présente des obstacles importants, notamment :

• Texte OCR bruité : Les documents historiques contiennent de fréquentes erreurs de reconnaissance optique de caractères qui dégradent la qualité des mentions d'entités.
• Déséquilibre des classes : Les étiquettes négatives dominent le jeu de données (environ 55 % pour at et 78 % pour isAt), biaisant les modèles vers des prédictions fausses.
• Raisonnement multilingue : Les modèles doivent fonctionner de manière cohérente dans trois langues typologiquement diverses avec des disponibilités de données variables.
• Preuves implicites : De nombreuses connexions sont implicites plutôt qu'explicites, nécessissant une connaissance du monde et une inférence contextuelle.

Bien que les grands modèles de langage (LLM) soient prometteurs, le déploiement de modèles dotés d'une capacité suffisante (par exemple, 26B+ paramètres) pour traiter des millions de documents historiques est pratiquement irréalisable sur le plan informatique. La question de recherche centrale est de savoir si les capacités d'extraction de relations d'un grand LLM, finement ajusté, peuvent être distillées dans un modèle plus petit adapté à un déploiement pratique sans perte de performance catastrophique.

Méthodologie

Les auteurs proposent DistilledGemma, un pipeline de distillation de connaissances en trois étapes conçu pour équilibrer la précision de la classification et l'efficacité computationnelle.

Étape 1 : Sélection du modèle et ingénierie de prompt

Les auteurs ont évalué systématiquement huit configurations de LLM issues de quatre familles (Gemma, Qwen, Mistral, HY-MT) en utilisant diverses stratégies d'ingénierie de prompt.

• Conception du prompt : Cinq variantes de prompts ont été testées, la variante de Chaîne de Pensée (CoT - Chain-of-Thought) s'étant avérée la plus efficace. Ce prompt présente le modèle comme un historien, définit explicitement les relations at et isAt, impose des contraintes logiques (par exemple, si isAt est TRUE, alors at doit être TRUE) et exige des sorties JSON concises et fondées sur des preuves.
• Sélection : Le modèle Gemma 4 26B A4B a été sélectionné comme « enseignant » (teacher) en raison de son rappel moyen macro supérieur (0,7255) et de son alignement avec la famille cible de l'étudiant.

Étape 2 : Fine-tuning de l'enseignant et génération de données "Silver"

Le modèle enseignant sélectionné a été affiné via QLoRA (Quantized Low-Rank Adaptation) sur les données d'entraînement de HIPE.

• Configuration : Rang LoRA $r=32$, $\alpha=64$, appliqué à toutes les projections d'attention et de MLP. L'entraînement a duré 3 époques avec une taille de lot de 32 (via accumulation de gradients).
• Génération de données : L'enseignant affiné a généré des données d'entraînement de type "silver-standard" pour l'ensemble du corpus. Crucialement, ces sorties incluaient non seulement les étiquettes prédites, mais aussi des explications par Chaîne de Pensée (CoT), capturant le processus de raisonnement derrière chaque décision.

Étape 3 : Distillation de l'étudiant

Un modèle compact Gemma 4 E2B (environ 2,3 milliards de paramètres) a servi d'« étudiant » (student).

• Stratégie d'entraînement : L'étudiant a été entraîné sur les données "silver" générées par l'enseignant en utilisant QLoRA ($r=16, \alpha=32$) pendant 6 époques.
• Approche de distillation : Il s'agissait d'une distillation au niveau de la réponse où l'étudiant apprenait à imiter les schémas de raisonnement structurés et les sorties d'étiquettes de l'enseignant, plutôt que de s'entraîner uniquement sur les étiquettes "gold".
• Déploiement : Les adaptateurs LoRA ont été fusionnés dans le modèle de base pour l'inférence, aboutissant à un modèle de 2,3 milliards de paramètres déployable.

Post-traitement

Pour traiter le déséquilibre des classes et assurer la cohérence sémantique, une étape de post-traitement basée sur des règles a été appliquée à toutes les sorties. Elle a imposé :

1. La compatibilité du type d'entité.
2. Les contraintes de direction de la relation (personne vers lieu).
3. Les motifs de déclenchement contextuels.
4. Les contraintes logiques (spécifiquement, isAt=TRUE implique at=TRUE).

Résultats clés

Le système, soumis par l'équipe « WHEREAMI », a obtenu les résultats suivants lors de l'évaluation officielle de HIPE-2026 :

• Profil de précision standard : Classé 3ème avec un score de profil moyen de 0,688.
• Profil de précision binaire : Classé 2ème avec un score de profil moyen de 0,8156.
• Profil d'efficacité-précision équilibré : Classé 2ème sur les ensembles de tests standard et binaire.

Efficacité de la distillation :

• Le modèle étudiant distillé de 2,3B a récupéré environ 88 % de la performance de rappel moyen macro du modèle enseignant de 26B.
• Cela a été réalisé avec une réduction de 11 fois du nombre de paramètres déployés.
• L'étudiant distillé a surpassé plusieurs modèles zero-shot plus grands (ex: Qwen3.5 9B et Gemma 4 E4B) en termes de rappel moyen macro, validant que la distillation peut combler l'écart de performance entre les petits et les grands modèles.

Efficacité :

• Le modèle étudiant de 2,3B peut être servi sur un seul GPU grand public (< 8 Go de VRAM), traitant environ 50 paires par seconde.
• En revanche, l'enseignant de 26B nécessite un matériel à haute mémoire et n'a été utilisé qu'en mode hors ligne pour la génération de données.

Signification et affirmations

Le document affirme que DistilledGemma fournit une solution pratique et évolutive pour le traitement de documents historiques. Sa principale signification réside dans la démonstration que :

1. La distillation de connaissances est viable pour le NLP historique : Il est possible de transférer des capacités de raisonnement complexes d'un grand LLM affiné vers un modèle compact sans dégradation significative des performances.
2. Le transfert de raisonnement est crucial : L'entraînement sur les traces de Chaîne de Pensée de l'enseignant (distillation au niveau de la réponse) permet à l'étudiant d'apprendre des schémas d'inférence structurés, ce qui est plus efficace que l'entraînement sur les seules étiquettes, particulièrement pour les tâches nécessitant une évaluation nuancée des preuves.
3. Compromis efficacité-précision : L'approche offre des performances compétitives dans l'extraction de relations multilingues sans les coûts computationnels excessifs associés au déploiement de modèles de 26B+ paramètres, ce qui la rend adaptée aux pipelines de sciences humaines numériques à grande échelle.

Les auteurs concluent que, bien que les grands modèles dominent dans les contextes zero-shot, un pipeline de distillation soigneusement conçu offre un meilleur équilibre pour les scénarios de déploiement réel où les ressources de calcul sont contraintes.