SUMMIR: A Hallucination-Aware Framework for Ranking Sports Insights from LLMs

Ce papier présente SUMMIR, un cadre innovant conçu pour extraire, vérifier la fiabilité factuelle et classer des insights sportifs pertinents à partir d'articles d'actualité en utilisant des modèles de langage avancés et une validation rigoureuse contre les hallucinations.

L'essentiel

Imaginez que le monde du sport est une immense bibliothèque remplie de millions de livres (les articles de presse) écrits chaque jour sur des milliers de matchs. Pour un fan, trouver les informations les plus importantes, les plus vraies et les plus excitantes dans ce chaos est comme chercher une aiguille dans une botte de foin.

C'est exactement le problème que les auteurs de cette étude, SUMMIR, ont voulu résoudre. Voici comment ils ont fait, expliqué simplement avec des images du quotidien.

1. Le Problème : Trop de bruit, pas assez de signal

Chaque jour, des milliers d'articles sont publiés sur le cricket, le football, le basketball et le baseball. Certains parlent du match, d'autres de rumeurs, d'autres encore sont faux ou obsolètes. De plus, les intelligences artificielles (les "LLMs" ou grands modèles de langage) qui pourraient résumer tout ça ont tendance à halluciner. C'est comme si un conteur très bavard inventait des détails amusants mais faux (par exemple, dire qu'un joueur a marqué un but alors qu'il était blessé).

2. La Solution : Une usine à trier la vérité (Le Pipeline)

Les chercheurs ont construit une "usine" en trois étapes pour transformer ce chaos en informations précieuses :

• Étape 1 : Le Filtre à café (Collecte et Validation)
  Imaginez que vous voulez faire un café parfait. Vous ne pouvez pas utiliser n'importe quel grain. Ils ont collecté 32 000 articles, mais la plupart étaient de la "poussière".
  Ils ont utilisé deux gardiens (des IA) pour filtrer :

  • Le premier gardien (un modèle plus petit et rapide) jette un coup d'œil rapide pour voir si l'article parle du bon match.
  • Le deuxième gardien (un modèle plus gros et intelligent, comme GPT-4) vérifie méticuleusement que l'article correspond bien au match précis (date, équipes, score).
  • Résultat : Ils ne gardent que les 7 900 articles vraiment pertinents. C'est comme passer du grain de café moulu à des grains de qualité supérieure.

• Étape 2 : Le Chef Cuisinier (Génération d'Insights)
  Une fois les bons articles sélectionnés, ils demandent à quatre chefs cuisiniers différents (différentes IA) de préparer un plat : un résumé des faits clés.

  • Ils demandent : "Quels records ont été battus ? Qui a joué un rôle clé ? Qu'ont dit les joueurs après le match ?"
  • Le problème : Parfois, le chef cuisinier ajoute un ingrédient qui n'est pas dans la recette (une hallucination).

• Étape 3 : Le Dégustateur de Vérité (Détection d'Hallucinations)
  Avant de servir le plat, un dégustateur expert (utilisant des outils comme FactScore et SummaC) goûte chaque phrase.

  • Si le chef a dit "Kohli a marqué 100 points" alors qu'il a marqué 76, le dégustateur rejette la phrase.
  • Ils ont découvert que certains chefs (comme GPT-4) sont beaucoup plus honnêtes que d'autres.

3. La Star du Show : SUMMIR (Le Triomphateur)

C'est ici que la magie opère. Même avec des informations vraies, toutes ne sont pas intéressantes pour vous.

• Exemple : "Il a plu à 14h00" est vrai, mais ennuyeux. "Kohli a fait un incroyable 76 points" est excitant.

SUMMIR est comme un Disc Jockey (DJ) ultra-intelligent pour les sports.

• Il ne se contente pas de lire les faits. Il analyse l'émotion (est-ce que c'est drôle, triste, excitant ?), les mots à la mode (les "buzzwords"), et la popularité des joueurs.
• Il utilise une technique d'apprentissage appelée PPO (Optimisation de Politique Proximale). Imaginez que le DJ s'entraîne en regardant ce que les humains préfèrent. À chaque fois qu'il met une chanson (un insight) en haut de la liste et que les gens applaudissent, il reçoit une récompense. S'il se trompe, il ajuste son style.
• Le but est de vous donner d'abord les infos les plus importantes et les plus passionnantes, juste comme vous le voudriez.

En résumé

Cette recherche est comme la construction d'un guide touristique parfait pour le monde du sport :

1. Elle nettoie la ville pour enlever les fausses rumeurs.
2. Elle vérifie que chaque anecdote est vraie.
3. Elle organise la visite pour que vous voyiez d'abord les monuments les plus impressionnants, en fonction de ce qui vous passionne le plus.

Grâce à ce système, les fans peuvent désormais lire des résumés de matchs qui sont non seulement vrais, mais aussi pertinents et passionnants, sans avoir à fouiller dans des centaines d'articles. C'est un pas de géant pour rendre l'information sportive plus intelligente et plus humaine.

Résumé technique

1. Problématique

L'essor de la journalisme sportif en ligne génère un volume massif de données textuelles (articles pré- et post-match). Cependant, extraire, valider et hiérarchiser des insights (informations clés) pertinents à partir de ces articles reste un défi majeur en raison de :

• La nécessité de gérer des nuances spécifiques au sport et des facteurs temporels.
• Le risque élevé d'hallucinations (fausses informations) lorsque l'on utilise des Modèles de Langage de Grande Taille (LLM) pour générer du contenu.
• L'absence de méthodes systématiques pour classer ces insights selon l'intérêt de l'utilisateur et leur exactitude factuelle.

L'objectif est de créer un pipeline automatisé capable de récupérer des articles pertinents, d'extraire des insights structurés, de détecter les hallucinations et de classer ces insights de manière optimale.

2. Méthodologie

Les auteurs proposent un cadre de travail complet en plusieurs étapes, illustré par le pipeline SUMMIR (Sentence Unified Multimetric Model for Importance Ranking).

A. Collecte et Validation des Données

• Jeu de données : Un corpus de 7 900 articles couvrant 800 matchs répartis sur quatre sports majeurs (Cricket, Football, Basketball, Baseball).
• Pipeline de validation en deux étapes : Pour garantir la pertinence contextuelle des articles par rapport à un match spécifique :
  1. Filtrage initial : Utilisation de modèles open-source (Qwen 2.5 32B, Llama 3.1 8B, etc.) pour une première validation rapide.
  2. Validation finale : Utilisation de modèles propriétaires et open-source avancés (GPT-4o, Qwen 2.5-72B, Llama-3.3-70B, Mixtral-8x7B) pour une vérification rigoureuse.
  • Résultat : Seuls les articles validés comme pertinents sont conservés pour la génération d'insights.

B. Génération d'Insights

• Des prompts spécifiques à chaque sport sont conçus pour extraire des catégories d'informations structurées :
  • Nouveaux records.
  • Événements clés du match.
  • Insights pré-match (prédictions, stratégies).
  • Réflexions post-match (réactions émotionnelles, déclarations).
  • Faits divers et autres highlights.
• Quatre LLMs avancés sont utilisés pour générer plus de 281 000 insights.

C. Détection d'Hallucinations et Évaluation Factuelle

Pour assurer la fiabilité, deux métriques sont appliquées sur les sorties des LLMs :

1. FactScore : Évalue la cohérence factuelle en vérifiant si les entités et leurs relations dans l'insight sont soutenues par l'article source.
2. SummaC (Summary Consistency) : Utilise l'inférence linguistique naturelle (NLI) pour déterminer si chaque phrase de l'insight est logiquement déduite de l'article source.

• Résultat clé : GPT-4o a démontré la meilleure précision factuelle (FactScore 95-97 %, SummaC 60-72 %), tandis que des modèles comme Mixtral-8x7B ont montré des taux d'hallucination plus élevés.

D. Système de Classement : SUMMIR

Le cœur de la contribution est l'architecture SUMMIR, conçue pour classer les insights selon l'intérêt de l'utilisateur.

• Extraction de caractéristiques (Features) : Six dimensions sont analysées :
  1. Score sémantique (pertinence de domaine).
  2. Intensité émotionnelle.
  3. Détection de l'ironie/sarcasme.
  4. Pondération TF-IDF (importance des termes).
  5. Identification des mots-clés (« buzzwords »).
  6. Reconnaissance d'entités nommées (NER) basée sur la popularité.
• Apprentissage par Renforcement (PPO) :
  • Un modèle LLaMA 3.2 1B est affiné (fine-tuned) via Proximal Policy Optimization (PPO).
  • La fonction de récompense combine un classement « Gold » (annoté par des humains) et un classement prioritaire dérivé d'une fonction ScoreNet (une fonction de score légère et différentiable).
  • L'objectif est d'optimiser le NDCG (Normalized Discounted Cumulative Gain) pour aligner le classement automatique sur les préférences humaines.

3. Contributions Clés

1. Problématique nouvelle : Définition et résolution du problème d'extraction et de classement d'insights pré- et post-match dans le domaine sportif.
2. Jeu de données curaté : Création d'un dataset de 7 900 articles validés via un pipeline de vérification hybride (open-source + propriétaire).
3. Génération massive : Production de 281 000 insights structurés avec des prompts adaptés à quatre sports différents.
4. Évaluation rigoureuse : Application d'une stratégie d'évaluation dual (FactScore + SummaC) révélant des écarts significatifs de fiabilité entre les LLMs.
5. Architecture SUMMIR : Introduction d'un nouveau modèle de classement combinant des caractéristiques sémantiques, émotionnelles et contextuelles, optimisé par PPO avec des priors de pertinence basés sur ScoreNet.

4. Résultats

• Performance des LLMs : GPT-4o s'est avéré supérieur pour la génération d'insights factuels et la minimisation des hallucinations.
• Efficacité du classement : Le modèle SUMMIR affiné a atteint un NDCG@10 de 0,943 et un Recall@10 de 0,960, surpassant les approches basées uniquement sur le NDCG ou le Recall.
• Alignement humain : Le système SUMMIR approche les performances des annotateurs humains, bien qu'il montre encore un léger retard sur le Recall@3 par rapport aux classements humains.
• Analyse d'ablation : L'intensité émotionnelle et la popularité des entités nommées (joueurs) ont été identifiées comme les facteurs ayant le plus d'impact sur la qualité du classement.

5. Signification et Conclusion

Ce travail établit un cadre robuste pour la génération d'insights sportifs automatisés et fiables. Il démontre que l'association de la validation factuelle stricte (anti-hallucination) et de l'apprentissage par renforcement pour le classement permet de surmonter les limites actuelles des LLMs dans le domaine sportif.

Implications futures :

• Extension du cadre à d'autres domaines (actualités générales, éducation).
• Intégration de préférences utilisateur personnalisées via des signaux d'interaction.
• Amélioration de la détection du sarcasme et de la normalisation des entités pour réduire les biais.
• Optimisation de l'inférence pour un déploiement à grande échelle.

L'article met en évidence l'importance cruciale de l'évaluation factuelle dans les applications LLM et propose une solution technique viable pour transformer des flux de données textuelles brutes en informations sportives actionnables et de haute qualité.