Technische Samenvatting: Precisie is geen Getrouwheid

Probleemstelling

Huidige referentievrije getrouwheidsmetingen (faithfulness metrics) voor gegronde generatie lijden aan een kritiek blinde vlek: ze meten alleen precisie (het aandeel claims gemaakt door een model die worden ondersteund door de grondwaarheid) maar negeren recall (het aandeel relevante feiten uit de grondwaarheid dat het model daadwerkelijk heeft vermeld).

Omdat deze metrieken het weglaten van informatie niet bestraffen, belonen ze onbedoeld onthouding (abstention). Een model kan bijna perfecte scores voor getrouwheid behalen door slechts één veilig feit te noemen en alle andere relevante informatie weg te laten. In open-domein settings is het meten van recall structureel moeilijk omdat er geen volledige, opsombare set van relevante feiten beschikbaar is om als noemer te dienen. Bijgevolg kunnen bestaande benchmarks niet onderscheid maken tussen een model dat zeer informatief is en een model dat slechts voorzichtig en oninformatief is.

Methodologie

Om dit aan te pakken, introduceren de auteurs een complete-oracle benadering, waarbij gebruik wordt gemaakt van domeinen waar strategische grondwaarheid deterministisch en uitputtend kan worden afgeleid.

1. De Complete Oracle (Formula 1 & Weer)

Het primaire experimentele domein is de Formule 1 (F1) strategie-uitleg. Met behulp van de FastF1 API extraheren de auteurs timing- en telemetriegegevens om een deterministische set strategische gebeurtenissen (pitstops, bandensamenstellingen, undercut/overcut pogingen, verdediging op de baan) af te leiden.

• Volledigheid: Voor elke beslissingsinstantie enumereert het systeem de volledige set controleerbare feiten die een getrouwe uitleg moet bevatten (bijv. specifieke pit-laps, samenstellingen van banden, tijdsverschillen).
• Benchmark: Een meertalige (Engels, Spaans, Portugees) dataset van 7.253 beslissingsinstanties verspreid over 150 races (2018–2025) werd geconstrueerd.
• Secundair Domein: De bevindingen werden gerepliceerd in een weerbericht-domein met behulp van NOAA-gegevens, waarbij elk weervoorschrift een volledige set opsombare feiten vormt.

2. De Metriek: Precisie + Recall

De auteurs stellen een referentievrije metriek voor die modelgeneraties deelt op in atomaire claims en deze verifieert tegen de gestructureerde grondwaarheid:

• Precisie (Getrouwheid): Het fractie van de door het model gemaakte claims die worden ondersteund.
• Recall (Dekking): Het fractie van de opsombare grondwaarheidsfeiten die het model correct heeft vermeld.
• F1-score: Het harmonisch gemiddelde van precisie en recall, gebruikt om de balans tussen nauwkeurigheid en informatieve rijkdom te evalueren.

3. Extractie en Verificatie

Er werden twee extractie-backends ingezet om robuustheid te garanderen:

• Een afhankelijkheidsvrije regex-extractor (voor Engels) en een LLM-extractor (voor meertalige ondersteuning) om vrije tekst te parsen naar getypeerde claims.
• Verificatie werd gevalideerd via gecontroleerde perturbatie (het injecteren van fouten) en cross-extractor overeenkomst (Spearman-correlatie van 1.00 tussen regex en cross-familie LLM-extractoren op systeemniveau).

4. Verifier-Guided Generatie

Er is een generatiemethode ontwikkeld waarbij een model zijn output iteratief verfijnt op basis van feedback van de gestructureerde verifieerder. De feedbackloop geeft gerichte instructies om tegenstrijdige claims te herstellen en niet-gedekte grondwaarheidsfeiten toe te voegen, wat zowel de precisie als de recall verbetert zonder dat er referentieteksten nodig zijn.

Belangrijkste Resultaten

1. Precisie beloont onthouding; Dekking herordent ranglijsten

De centrale bevinding is dat de modelrangschikking significant verandert wanneer dekking vereist is.

• Het "Abstention"-effect: Het meest precieze model in de studie, grok-4.3 (Precisie 0.89 in Portugees), dekte slechts 0.46 van de relevante feiten, wat resulteerde in de laagste F1-score (0.61).
• Rangschikking-inversie: Omgekeerd hadden meer verbale modellen zoals DeepSeek-V3.2 een iets lagere precisie maar een aanzienlijk hogere recall, wat leidde tot een veel hogere F1-score.
• Consistentie: Deze inversie trad op in alle drie de talen (EN, ES, PT) en in het secundaire weer-domein. Het meest precieze model was nooit het meest volledige model.

2. Prompting lost het gat niet op

Experimenten met een expliciete "cover-all" prompt (de instructie aan modellen om elk ondersteunbaar feit te vermelden) slaagden er niet in om de coverage gap te dichten. Sterker nog, de gemiddelde recall daalde (van 0.60 naar 0.47), en slechts 2 van de 5 modellen vertoonden enige verbetering. Dit geeft aan dat lage dekking niet louter een artefact is van ondermaatse prompting, maar een fundamentele beperking van huidige modellen bij het genereren van uitgebreide gegronde tekst.

3. Kleine Fine-Tuned Modellen kunnen concurreren

Een klein, open-source model (Qwen2.5-3B) dat is gefinetuned op gegronde verklaringen, behaalde de hoogste F1-score (0.982) in de studie, waarmee het frontier-modellen overtrof. De auteurs merken echter op dat deze prestatie rust op het model dat deterministische templates getrouw reproduceert, wat een waarschuwing inhoudt over template-nabootsing versus werkelijk redeneren.

4. Verifier-Guided Generatie verbetert prestaties

Het toepassen van de verifier-guided zelfcorrectie methode op gpt-5.4-mini verhoogde de precisie van 0.640 naar 0.881, wat aantoont dat gestructureerde verificatiesignalen de generatie effectief kunnen sturen zonder referentieteksten.

Betekenis en Claims

Het artikel beweert dat precisie niet getrouwheid is. Door een complete-oracle framework te introduceren, tonen de auteurs aan dat:

1. Referentievrije getrouwheidsmetingen incompleet zijn: Ze falen in het bestraffen van oninformatieve antwoorden, wat leidt tot misleidende evaluaties waarbij onthouding wordt beloond.
2. Systeemrangschikkingen instabiel zijn: Het uitsluitend vertrouwen op precisie herordent systeemvergelijkingen, wat potentieel modellen promoot die weliswaar accuraat zijn, maar onbehulpzaam.
3. Dekking meetbaar is: In domeinen met deterministische grondwaarheid kan recall exact worden gemeten, wat een aanzienlijk gat onthult tussen precisie en dekking bij frontier-modellen.
4. Het probleem algemeen is: Dit fenomeen is niet uniek voor F1, maar komt ook voor in andere data-naar-tekst domeinen (weer), wat suggereert dat het een eigenschap is van precisie-georiënteerde metrieken in plaats van een specifiek dataset-probleem.

De auteurs stellen de benchmark, gestructureerde annotaties, de metriek, baselines en een interactieve demo beschikbaar om onderzoek naar dekking-bewuste evaluatie te faciliteren. Zij erkennen beperkingen, waaronder het feit dat hun recall-metriek begrensd wordt door de specifieke claim-ontologie van hun schema en dat de resultaten van fine-tuning mogelijk reflectie zijn van template-nabootsing.