SUMMIR: A Hallucination-Aware Framework for Ranking Sports Insights from LLMs

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat de wereld van het sportnieuws een enorme, drukke bibliotheek is. Elke dag worden er duizenden boeken (nieuwsartikelen) geschreven over cricket, voetbal, basketbal en honkbal. Voor een gewone fan is het onmogelijk om al die boeken te lezen om te weten wat er echt belangrijk is: wie heeft een record gebroken? Wie was de held van de wedstrijd? En wat zeggen de spelers nu ze terugkijken?

De auteurs van dit paper, SUMMIR, hebben een slimme robot-systeem bedacht om deze bibliotheek te doorzoeken, de beste verhalen te vinden en ze in de juiste volgorde te zetten. Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Grote Net (Verzamelen en Controleren)

Eerst moet de robot duizenden artikelen vinden. Maar internet zit vol met rommel: oude artikelen, artikelen over de verkeerde wedstrijd, of verhalen die nergens over gaan.

De Analogie: Stel je voor dat je een visnet gooit in een oceaan vol vis, maar ook vol met drijfhout en plastic. Je wilt alleen de verse vis.
De Oplossing: De onderzoekers gebruiken twee lagen "visserij-inspecteurs" (AI-modellen). De eerste inspecteur is een snelle, kleine robot die al het duidelijk onbruikbare weggooit. De tweede inspecteur is een zeer slimme, dure expert (zoals GPT-4) die nauwkeurig controleert: "Is dit artikel echt over deze specifieke wedstrijd?" Zo houden ze alleen de 7.900 beste artikelen over.

2. De Verteller die niet liegt (Het Genereren van Inzichten)

Nu de robot de goede artikelen heeft, moet hij de belangrijkste feiten eruit halen. Dit is lastig, want AI-modellen hebben de neiging om te "hallucineren" – dat is als een kind dat een verhaal verzint omdat het denkt dat het waar klinkt, maar het is niet waar.

De Analogie: Stel je voor dat je een journalist vraagt om een verslag te maken. Soms verzonnen ze details om het verhaal spannender te maken.
De Oplossing: De robot maakt samenvattingen in verschillende categorieën: "Nieuwe Records", "Belangrijke Momenten" en "Reacties van Spelers". Maar voordat hij deze feiten aan jou geeft, laat hij ze controleren door een strenge "fact-checker". Deze kijkt woord voor woord of de informatie echt in het originele artikel staat. Als de robot iets verzonnen heeft, wordt het verwijderd. Ze ontdekten dat sommige robots (zoals GPT-4o) veel minder liegen dan andere.

3. De Slimme Rangschikking (SUMMIR)

Dit is het meest creatieve deel. Stel, je hebt nu 50 goede feiten over een wedstrijd. Welke moet je als eerste lezen?

De Analogie: Stel je voor dat je een feestje hebt met 50 gasten die allemaal iets te vertellen hebben. Je wilt niet naar iedereen luisteren. Je wilt eerst naar de persoon luisteren die het leukste verhaal heeft, of de persoon die het meest emotioneel is, of de persoon die het meest bekend is.
De Oplossing: De onderzoekers hebben een systeem genaamd SUMMIR gebouwd. Dit is als een slimme gastheer die naar elke zin kijkt en een score geeft op basis van:
- Betekenis: Is het relevant voor de wedstrijd?
- Emotie: Is het spannend of hartverwarmend?
- Sarcasme: Is het grappig bedoeld?
- Bekendheid: Gaat het over een beroemde speler?
- Trendwoorden: Zitten er populaire termen in?

De robot leert van zijn fouten (via een techniek die "PPO" heet, wat een beetje als trainen met een beloningssysteem is) om steeds beter te weten welke feiten jij als fan het leukst vindt.

Waarom is dit belangrijk?

Vroeger moest je zelf door honderden artikelen graven om te weten wat er gebeurde. Nu kan dit systeem:

De beste artikelen vinden.
De feiten controleren zodat je geen leugens leest.
De leukste en belangrijkste feiten bovenaan zetten, zodat je in één oogopslag weet wat er belangrijk was.

Kortom: SUMMIR is de persoonlijke sportverslaggever die nooit liegt, nooit verveelt en precies weet wat jij wilt weten, of het nu gaat om een cricketwedstrijd in India of een basketbalwedstrijd in de VS.

Each language version is independently generated for its own context, not a direct translation.

Titel

SUMMIR: Een hallucinatie-bewust framework voor het rangschikken van sportinzichten van LLM's

1. Het Probleem

Met de snelle toename van online sportjournalistiek is het voor gebruikers en platforms steeds moeilijker geworden om waardevolle voor- en nawedstrijdinzichten uit duizenden artikelen te halen. Bestaande methoden richten zich vaak op simpele gebeurtenisextractie of algemene sentimentanalyse, maar missen de diepere dynamiek van specifieke wedstrijden.
De belangrijkste uitdagingen zijn:

Contextuele relevantie: Het filteren van artikelen die echt over een specifieke wedstrijd gaan (bijv. vermijden van oude artikelen bij terugkerende rivaliteiten).
Hallucinaties: Large Language Models (LLM's) hebben de neiging om feitelijke onjuistheden of "hallucinaties" te genereren, wat de betrouwbaarheid van gegenereerde inzichten ondermijnt.
Prioritering: Het is moeilijk om de meest relevante en interessante inzichten te selecteren uit een grote hoeveelheid gegenereerde data voor een specifieke gebruiker of context.

2. Methodologie

De auteurs stellen een robuust, meerstaps pipeline voor die bestaat uit data verzameling, validatie, inzichten generatie, hallucinatie detectie en rangschikking.

A. Dataset Curation en Validatie

Dataverzameling: Er is een dataset samengesteld van 7.900 nieuwsartikelen die 800 wedstrijden beslaan in vier grote sporten: Cricket, Voetbal, Basketbal en Honkbal. Per wedstrijd zijn er minimaal twee voor- en twee nawedstrijdartikelen verzameld via Google Search API.
Tweestaps Validatie: Om de relevantie van artikelen te garanderen, wordt een tweestapsvalidatie gebruikt:
1. Eerste stap: Open-source modellen (zoals Qwen 2.5 32B) filteren de ruwe data. Qwen 2.5 32B presteerde het beste met een precisie van 88,5% en recall van 89,1%.
2. Tweede stap: Propriëtaire en grotere modellen (GPT-4o, Qwen 2.5-72B, Llama-3.3-70B, Mixtral-8x7B) valideren de resterende artikelen verder.

B. Inzichten Generatie

Sport-specifieke Prompts: Er zijn iteratief ontworpen prompts gebruikt om gestructureerde inzichten te genereren, gecategoriseerd in: Nieuwe Records, Belangrijke Wedstrijdgebeurtenissen, Voorwedstrijdinzichten, Nawedstrijdreflecties en Overige Highlights.
Modellen: Vier geavanceerde LLM's werden ingezet om in totaal 281.163 inzichten te genereren.

C. Hallucinatie Detectie

Om de feitelijke juistheid te waarborgen, wordt een strikt detectieproces toegepast:

FactScore: Een methode die de feitelijke consistentie meet door gegenereerde beweringen te vergelijken met de bronartikelen (binair correctheidsscore).
SummaC (Summary Consistency): Gebruikt Natural Language Inference (NLI) om te bepalen of elke zin logisch volgt uit de bronartikel.
Resultaat: GPT-4o presteerde het beste met FactScores van 95-97% en SummaC-scores van 60-72%. Mixtral-8x7B vertoonde de hoogste hallucinatiepercentages.

D. SUMMIR: Rangschikking Framework

Het kerninnovatie is SUMMIR (Sentence Unified Multimetric Model for Importance Ranking), een architectuur om de gegenereerde inzichten te rangschikken op basis van gebruikersbelang.

Functie-extractie: Er worden zes kenmerken geëxtraheerd:
1. Semantische relevantie (via sentence-transformers).
2. Emotionele intensiteit (via RoBERTa).
3. Sarcastisme detectie (T5-base).
4. TF-IDF gewicht.
5. Buzzword identificatie (sportlexicon).
6. Named Entity Recognition (NER) gebaseerd op populariteit.
ScoreNet: Een lichtgewicht, volledig differentieerbare scoringfunctie die een "relevance prior" genereert op basis van de bovenstaande kenmerken.
Training met PPO: Een LLaMA 3.2 1B model wordt gefinetuned met Proximal Policy Optimization (PPO). De beloning (reward) is een convexe combinatie van:
- NDCG (Normalized Discounted Cumulative Gain) ten opzichte van een "gouden" menselijke ranking.
- NDCG ten opzichte van de ScoreNet-ranking (om een "interessantheidsfactor" toe te voegen).
- De gewichten zijn ingesteld op $\lambda_1 = 0.7$ (gouden ranking) en $\lambda_2 = 0.3$ (ScoreNet).

3. Belangrijkste Bijdragen

Nieuw Probleemdefinitie: Het introduceren van het probleem van het ontdekken en rangschikken van voor- en nawedstrijdinzichten uit sportartikelen.
Grote Gecurateerde Dataset: Een dataset van 7.900 artikelen over 800 wedstrijden in vier sporten, gevalideerd via een tweestaps LLM-pipeline.
Gestructureerde Inzichten: Generatie van >280.000 gestructureerde inzichten met sport-specifieke prompts.
Dual Evaluatie Strategie: Toepassing van FactScore en SummaC om de feitelijke consistentie te meten, waarbij grote verschillen in betrouwbaarheid tussen LLM's worden blootgelegd.
SUMMIR Architectuur: Een nieuw rangschikkingssysteem dat semantische, emotionele en contextuele kenmerken combineert, getraind met PPO en ScoreNet voor geoptimaliseerde prioritering.

4. Resultaten

Hallucinatie Detectie: GPT-4o bleek het meest betrouwbaar (FactScore ~95-97%), terwijl kleinere modellen zoals Mixtral aanzienlijk vaker hallucineren.
Rangschikking Prestaties:
- Het met SUMMIR gefinetuned model (LLaMA 3.2 1B) presteerde beter dan modellen die alleen op NDCG of Recall werden getraind.
- NDCG@10: 0,943 (SUMMIR) vs 0,911 (alleen NDCG).
- Recall@10: 0,960 (SUMMIR) vs 0,920 (alleen NDCG).
Menselijke Vergelijking: Het SUMMIR-model benadert menselijke prestaties (NDCG@3 van 0,649 vs 0,724 voor mensen), maar blijft iets achter op Recall.
Foutanalyse: Er werden uitdagingen geïdentificeerd, zoals overgevoeligheid voor bekende namen (NER), fouten in sarcastisme-detectie en semantische drift bij lange inputs.

5. Betekenis en Toekomstperspectief

Dit werk biedt een robuust framework voor het automatisch genereren van betrouwbare sportinzichten, wat essentieel is voor het verbeteren van gebruikersbetrokkenheid en begrip in de sportjournalistiek.

Schaalbaarheid: De pipeline is schaalbaar en kan worden toegepast op andere domeinen (nieuws, onderwijs).
Personalisatie: De methode opent de deur voor personalisatie op basis van gebruikersvoorkeuren via interactiesignalen.
Verbetering: Toekomstig werk richt zich op het verbeteren van de sarcastisme-detectie, het aanpassen van de gewichten in de beloningsfunctie (in plaats van vast te houden aan 0.7/0.3), en het gebruik van Reinforcement Learning from Human Feedback (RLHF) voor robuustere prompts.

De broncode en datasets zijn openbaar beschikbaar gesteld via GitHub, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap faciliteert.