When Verification Fails: How Compositionally Infeasible Claims Escape Rejection

Probleemstelling

Het paper adresseert een fundamenteel tekortkoming in de huidige methoden voor het verifiëren van wetenschappelijke claims door Large Language Models (LLMs). Het centrale probleem is dat bestaande benchmarks en evaluatiemethoden niet in staat zijn om onderscheid te maken tussen twee zeer verschillende verifiatiestrategieën:

1. Closed-World Assumption (CWA): De strenge standaard waarbij een claim alleen wordt geaccepteerd als alle geasserteerde beperkingen (constraints) positief worden ondersteund door het bewijsmateriaal. Ontbrekende ondersteuning leidt tot afwijzing.
2. Salient-Constraint Checking (SCC): Een "shortcut" of afkorting waarbij het model alleen de meest opvallende (saliente) beperking van een claim controleert. Als deze ene beperking wordt ondersteund, accepteert het model de claim, ongeacht of andere, minder opvallende beperkingen worden tegengesproken.

De auteurs tonen aan dat bestaande benchmarks (zoals NLI4CT, SCITAB en SciVer) vooringenomen zijn ten gunste van SCC. Ze genereren onmogelijke claims (negatieve voorbeelden) door één enkel, opvallend element te manipuleren (bijv. een getal omdraaien). Hierdoor zijn zowel een model dat CWA toepast als een model dat SCC toepast gedwongen om deze claims af te wijzen, waardoor de benchmarks het falen van SCC niet kunnen detecteren.

Methodologie

Om dit probleem op te lossen, introduceren de auteurs een nieuwe aanpak voor het genereren van data en een reeks experimenten:

1. Generatie van Compositieel Onmogelijke Claims (Compositionally Infeasible Claims)
In plaats van één element te manipuleren, bouwen de auteurs claims op die specifiek zijn ontworpen om de "shortcut" te omzeilen:

• Saliente beperking: De meest opvallende beperking van de claim wordt wel ondersteund door het bewijs.
• Niet-saliente beperking: Een minder opvallende beperking, die vaak een compositie is van meerdere delen van het bewijs (bijv. twee zinnen in een rapport, twee trends in een grafiek, of kolommen in een tabel), wordt tegengesproken.
• Constructie: Ze gebruiken een grafiekgebaseerde adversariele constructie. Een claim wordt gemodelleerd als een drie-laags graaf:
  • Observatielaag: Directe feiten uit het bewijs.
  • Contextlaag: Relaties tussen observaties.
  • Interpretatielaag: Hogere niveau conclusies.
    Door één knooppunt in de context- of interpretatielaag te corrumperen (bijv. door een scope-verschuiving of overgeneralisatie), ontstaat een claim die lokaal plausibel lijkt (de saliente feiten kloppen) maar globaal onwaar is.

2. Evaluatie en Interventies
De auteurs evalueren acht verschillende model-families (o.a. GPT-5, Gemini, Claude, Qwen3) over drie domeinen (klinische trials, wetenschappelijke tabellen, grafieken). Ze testen de modellen op:

• Standaard onmogelijke claims (single-constraint).
• Compositieel onmogelijke claims (adversariele negatives).
• Interventies: Ze testen of prompt-engineering (CWA-instructies, decompositie van claims, Open-World Assumptie instructies) het probleem kan oplossen.
• Trace-analyse: Een LLM-judge evalueert de redeneringstraces van de modellen om te zien of ze alle beperkingen controleren (CWA) of stoppen bij de eerste saliente (SCC).

Kernbijdragen

1. Identificatie van een structurele beperking: Het paper bewijst dat bestaande benchmarks functioneel ononderscheidbaar zijn voor modellen die CWA toepassen en modellen die de "salient-constraint checking" shortcut gebruiken.
2. Nieuwe dataset: De creatie van een dataset van "compositieel onmogelijke claims" die specifiek ontworpen is om de kloof tussen deze twee strategieën bloot te leggen.
3. Diagnose van redeneringsbottleneck: Het paper toont aan dat het falen van modellen geen kwestie is van een verkeerde strategiekeuze, maar een fundamenteel redeneringsbottleneck. Zelfs met strikte instructies (CWA-prompts) kunnen modellen de compositie van niet-saliente beperkingen niet betrouwbaar uitvoeren.

Resultaten

• Prestatiekloof: Modellen die hoge scores behalen op bestaande benchmarks (standaard negatives), presteren aanzienlijk slechter op compositieel onmogelijke claims. Ze accepteren deze claims systematisch te vaak omdat de saliente beperking klopt.
  • Voorbeeld: Op de SciVer-dataset daalt de nauwkeurigheid voor adversariele claims met wel 26,7% ten opzichte van standaard negatives bij sommige modellen.
• Schaling (Scaling): Het probleem verergert niet noodzakelijk met modelgrootte. Hoewel grotere modellen beter zijn in het ophalen van feiten, blijft de kloof tussen het afwijzen van standaard negatives en het afwijzen van compositieel onmogelijke claims bestaan. Dit suggereert dat het probleem ligt in het combineren van informatie, niet in het ophalen ervan.
• Interventies en ROC-curve: Het toepassen van CWA-instructies of decompositie (DCP) verschuift de trade-off tussen acceptatie en afwijzing (beweegt langs een ROC-curve), maar lost het probleem niet op. Modellen worden conservatiever (wijzen meer af), maar accepteren nog steeds te veel compositieel onmogelijke claims of wijzen te veel haalbare claims onterecht af.
• Trace-analyse: De analyse van redeneringstraces bevestigt dat modellen bij fouten vaak stoppen bij de saliente beperking (early termination), terwijl correcte afwijzingen vereisen dat ze alle beperkingen enumereren en combineren.

Significantie en Conclusie

Het paper heeft belangrijke implicaties voor de ontwikkeling van AI voor wetenschappelijke feitencontrole:

• Benchmarks moeten evolueren: Huidige benchmarks zijn ontoereikend omdat ze modellen belonen voor het vinden van één tegenspraak in een opvallend element. Toekomstige benchmarks moeten compositieel redeneren testen.
• Geen simpele oplossing via prompting: Het probleem is niet dat modellen "vergeten" om CWA toe te passen, maar dat ze structureel moeite hebben met het uitvoeren van ∀-type redenering (alleen alle constraints controleren) in plaats van ∃-type redenering (één tegenspraak vinden).
• Onderliggende oorzaak: De auteurs hypothetiseren dat dit komt door het pre-training op wetenschappelijke data, waar claims vaak direct ondersteund worden door zichtbare feiten en compositieel misleidende claims zeldzaam zijn. Hierdoor heeft het model weinig signaal gehad om volledige CWA-verificatie te leren.
• Toekomstige richting: Om dit op te lossen, zijn waarschijnlijk geavanceerdere trainingstechnieken nodig (zoals Reinforcement Learning met specifieke beloningen voor volledige constraint-checking) in plaats van alleen prompt-engineering.

Samenvattend toont het paper aan dat LLMs vaak "slimme" maar onnauwkeurige shortcuts gebruiken bij het verifiëren van wetenschappelijke claims, en dat deze fouten systematisch worden gemaskeerd door de huidige evaluatiestandaard.