Technische Samenvatting: Argument Representation and Coverage (ARC)

Probleemstelling

Hoewel Large Language Models (LLM's) succes hebben behaald in vloeiendheid bij abstractieve samenvattingen, wordt hun betrouwbaarheid in domeinen met een hoog belang (zoals recht en wetenschap) ondermijnd door frequente hallucinaties en het weglaten van cruciale inhoud. Bestaande evaluatiemetrieken slagen er vaak niet in om onderscheid te maken tussen vloeiendheid en feitelijke volledigheid, met name bij samenvattingen van lange documenten waar cruciale argumenten schaars verspreid zijn. Huidige methoden worstelen met het bieden van interpreteerbare diagnostiek over welke specifieke informatie ontbreekt of verkeerd wordt weergegeven, en of LLM's inherent saillante argumentatieve structuren behouden zonder expliciete supervisie.

Methodologie: Het ARC-framework

De auteurs introduceren Argument Representation Coverage (ARC), een bottom-up evaluatieframework ontworpen om te beoordelen hoe goed samenvattingen saillante argumenten behouden. ARC werkt hiërarchisch via drie niveaus van granulariteit:

1. Decompositie naar Atomaire Feiten:

   • Saillante argumentrollen (bijv. Issues, Reasons, Conclusions in juridische teksten; Own Claims, Background Claims, Data in wetenschappelijke teksten) worden gedecomposeerd in sets atomaire feiten ($F_r$) met behulp van een sterk LLM (GPT-4o).
   • Een entailment-check filtert overgegenereerde feiten eruit om te garanderen dat ze strikt afgeleid zijn van het oorspronkelijke argument.

2. Feit-niveau Evaluatie ($\delta$):

   • Elk atomair feit wordt vergeleken met de gegenereerde samenvatting door een LLM-beoordelaar.
   • De beoordelaar wijst een binaire status toe (ondersteund of niet) en categoriseert het fouttype: Missing (omissie) of Non-factual (tegenspraak/misrepresentatie). Deze scheiding maakt het mogelijk om te diagnosticeren of fouten voortkomen uit slechte inhoudelijke selectie of generatie-onnauwkeurigheden.

3. Hiërarchische Aggregatie:

   • $ARC_{role}$: De dekkingsscore voor een specifieke argumentrol is het gemiddelde van de dekking van de atomaire feiten ervan.
   • $ARC_{score}$: De algehele samenvattingsscore is het gemiddelde van alle rol-niveau scores, wat een holistische maatstaf biedt voor argumentbehoud.

Datasets en Modellen:
Het framework wordt toegepast op twee domeinen:

• CANLII: 1.049 lange juridische opinies waarbij argumentrollen (Issue, Reason, Conclusion) slechts ~7,66% van de inputtekst vormen maar ~66% van de referentie-samenvatting, wat een "needle in a haystack"-uitdaging creëert.
• DRI (DR. INVENTOR): 40 wetenschappelijke artikelen met dichte argumentatieve inhoud (74,14% van de input).

Acht open-weight instruction-following LLM's (variërend van 1B tot 14B parameters, inclusief de LLaMA, Mistral en Qwen families) werden op deze datasets geëvalueerd.

Belangrijkste Resultaten

1. Dekkingsbeperkingen en Fouttypen

• Onvolledige Dekking: Zelfs de best presterende modellen slagen er niet in om een perfecte argumentdekking te bereiken. In juridische domeinen (CANLII) vertonen de beste modellen een plateau rond een $ARC_{score}$ van 0,72, wat aanzienlijk lager is dan de menselijke referentie (0,98).
• Omissie versus Hallucinatie: Een analyse op feit-niveau laat zien dat ontbrekende feiten de dominante bron van fouten zijn in alle modellen en domeinen, wat de feitelijke fouten (hallucinaties) ver overtreft. Dit sugggeert dat de primaire uitdaging het ophalen en prioriteren van schaarse, saillante inhoud is, in plaats van het genereren van onjuiste feiten.
• Model Schaling: Grotere modellen bereiken over het algemeen een hogere dekking, maar de kloof tussen modelprestaties en menselijke referenties blijft aanzienlijk, vooral in juridische teksten.

2. Positionele Bias (RQ2)

• U-vormige Bias: Consistent met eerder werk vertonen modellen een U-vormige positionele bias, waarbij ze de voorkeur geven aan inhoud aan het begin en einde van het contextvenster.
• Impact op Juridische Samenvattingen: In CANLII, waar referentie-samenvattingen geen vaste positionele trends volgen, correleert deze bias negatief met de dekking ($ARC_{score}$). Argumenten die zich in het midden van lange juridische opinies bevinden, worden systematisch ondervertegenwoordigd.
• Wetenschappelijke Documenten: In DRI is de correlatie zwakker, omdat de referentie-samenvattingen nauwer aansluiten bij de natuurlijke positionele biases van de LLM's.

3. Rol-specifieke Bias (RQ3)

• Systematische Voorkeuren: LLM's vertonen systematische voorkeuren voor bepaalde argumentrollen.
  • Juridisch (CANLII): Modellen geven onevenredig veel de voorkeur aan Conclusions boven Issues en Reasons. De bias-score ($\beta$) is consistent het laagst voor conclusies, wat aangeeft dat zij beter worden behouden.
  • Wetenschappelijk (DRI): Background Claims worden minder effectief gedekt dan Own Claims, zelfs wanneer er wordt gecorrigeerd voor de lengte van het argument.
• Effect van Modelgrootte: Kleinere modellen (<3B parameters) vertonen hogere bias scores, wat duidt op een minder gebalanceerde dekking over verschillende argumentrollen.

4. Validatie van de Metriek

• Correlatie met Experts: $ARC_{score}$ bereikt de hoogste correlatie met menselijke expert-oordelen (Kendall's $\tau$ = 0,465, Pearson's $\rho$ = 0,593) vergeleken met standaard metrieken (ROUGE, BERTScore) en decompositie-gebaseerde baselines zoals FactScore.
• Interpreteerbaarheid: In tegen af als FactScore, dat alleen feit-niveau dekking biedt, biedt ARC een multi-level analyse (rol-niveau en differentiatie van fouttypen), wat het een superieur diagnostisch instrument maakt.
• Robuustheid van de Judge: Het framework presteert goed met open-weight judges (bijv. DeepSeek-R1-Distill-Qwen-14B), die in sommige settings zelfs hogere correlaties behaalden dan de propriëtaire GPT-4o.

Betekenis en Claims

Het artikel claimt dat ARC een geprincieerd en interpreteerbaar diagnostisch instrument biedt voor het evalueren van gestructureerde argumentdekking in long-context samenvattingen. De belangrijkste bijdragen zijn:

1. Granulaire Diagnostiek: Door onderscheid te maken tussen omissies en feitelijke fouten, en door dekking op rol-niveau te analyseren, onthult ARC waarom samenvattingen falen (bijv. het missen van argumenten in het midden of het negeren van specifieke roltypen) in plaats van alleen dat ze falen.
2. Bewijs van Systematische Bias: De studie legt bloot dat huidige instruction-following LLM's inherente biases hebben naar specifieke argumentrollen (voorkeur voor conclusies) en documentposities (voorkeur voor uiteinden), wat hun betrouwbaarheid in domeinen met een hoog belang belemmert waar een volledige argumentatie vereist is.
3. Noodzaak voor Alignment: De resultaten onderstrepen dat vloeiendheid alleen onvoldoende is. De aanhoudende kloof tussen modelprestaties en menselijke referenties, met name in schaarse juridische contexten, wijst op een behoefte aan verdere alignment-strategieën (bijv. expliciete argumentstructuur in training of prompting) om de salientie-dekking te verbeteren.

De auteurs concluderen dat hoewel ARC de evaluatie van dekking verbetert, het momenteel de nadruk legt op recall (het vangen van saillante feiten) boven precisie. Toekomstig werk zou beide dimensies gezamenlijk moeten beoordelen en salience-detectie direct in de samenvattingspipeline moeten integreren.