Technische Samenvatting: Quantum-geïnspireerde Trace-Augmented Evidence Selectie voor Redeneren over Gestructureerde Hypothese-ruimtes

1. Probleemstelling

Large Language Models (LLM's) hebben menselijk niveau of superieur presterende resultaten bereikt op algemene expertexamens, maar blijven broos in gespecialiseerde, bewijs-intensieve domeinen zoals het recht. In deze domeinen komen fouten vaak voort uit een gebrek aan wereldkennis, maar eerder uit subtiele onderscheidende factoren tussen stukken bewijs en de inconsistente toepassing van ondersteunende feiten.

De gangbare aanpak om redeneren te verbeteren is het samplen van meerdere Chain-of-Thought (CoT) traces en het aggregeren hiervan via majority vote (meerderheidsstemming). Echter, majority vote is fundamenteel gebrekkig voor bewijs-intensieve taken omdat het de meest populaire antwoorden prioriteert, ongeacht of de onderliggende bewijsvoering de sterkste is. Deze aanpak faalt in het herstellen van correcte antwoorden die worden ondersteund door hoogwaardig bewijs, maar voorkomen in een minderheid van de traces (het "noisy majority"-probleem). Bovendien vertonen frontier-modellen vaak latente biases (bijv. positiebias) die niet worden gemitigeerd door eenvoudige aggregatie.

Het artikel stelt dat het selecteren van redeneerfragmenten moet worden behandeld als een expliciet combinatorisch optimalisatieprobleem in plaats van een statistische stemoefening. Het doel is om een subset van bewijsfragmenten te identificeren die een hypothese maximaal ondersteunen op basis van kwaliteitsmetrieken (relevantie, specificiteit, onderscheidend vermogen) in plaats van frequentie, waardoor minderheidshypothesen met sterke ondersteuning de "ruisende meerderheid" kunnen overrulen.

De methodologie introduceert EP-HUBO (Evidence Pool Higher-Order Binary Optimisation), een vierfasige pipeline die is ontworpen om redeneerfragmenten te aggregeren terwijl minderheid-maar-correcte hypothesen behouden blijven. Het framework wordt geformuleerd als een Higher-Order Unconstrained Binary Optimisation (HUBO) probleem, oplosbaar op zowel klassieke als quantum hardware.

Fase 1: Lokale Trace Generatie

Een kleiner, open-source lokaal LLM (bijv. Qwen3.5-35B of OSS-20B) genereert $N$ onafhankelijke CoT traces per vraag. Deze fase is kostenefficiënt en vermijdt de hoge API-kosten van het gebruik van frontier-modellen voor de initiële trace generatie.

Fase 2: Evidence Pooling en Fragment Scoring

Traces worden gegroepeerd op basis van hun geëxtraheerde definitieve antwoord in evidence pools ($P_\ell$). Elke pool bevat redeneerfragmenten afgeleid van traces die eindigden met een specifieke hypothese.

• Fragment Extractie: Fragmenten worden uit de ruwe tekst geparsed met behulp van deterministische regels en kwaliteitsfilters (bijv. minimaal aantal woorden, aanwezigheid van entiteiten).
• Kwaliteitsscore: Een lokaal LLM scoort elk fragment op drie dimensies:
  1. Relevantie ($r_i$): Verbinding met de vraag.
  2. Specificiteit ($s_i$): Aanwezigheid van concrete feiten, wetgeving of benoemde entiteiten.
  3. Onderscheidend vermogen ($d_i$): Logische bijdrage die niet impliciet wordt gesuggereerd door andere fragmenten.
• Weging: Cruciaal is dat deze gewichten ontkoppeld zijn van populariteit. Ze zijn niet afhankelijk van de frequentie van het fragment over de traces heen, in tegen tegenstelling tot eerdere QUBO-gebaseerde benaderingen (bijv. QCR-LLM) die fragmentfrequentie als een primaire coëfficiënt gebruikten.

Fase 3: HUBO Optimalisatie

Voor elke evidence pool lost het systeem een HUBO-probleem op om een subset van fragmenten ($S_\ell$) te selecteren die een energiefunctie $H_\ell(x_\ell)$ minimaliseert:
$$H_\ell(x_\ell) = \sum w^{(1)}_i x_i + \sum w^{(2)}_{ij} x_i x_j + \sum w^{(3)}_{ijk} x_i x_j x_k$$

• 1-body termen ($w^{(1)}$): Afgeleid van de kwaliteitsscores ($r, s, d$).
• 2-body termen ($w^{(2)}$): Bestraffen tegenstrijdigheden en belonen ondersteuning tussen fragmenten.
• 3-body termen ($w^{(3)}$): Belonen coherentie en bestraffen het ondermijnen van de hypothese.
• Constraints: De optimalisatie staat onder een cardinaliteit-constraint ($\|x\|_1 = K$), waarbij $K$ dynamisch wordt aangepast op basis van de intra-pool fragment diversiteit (Jaccard afstand).
• Solver: Het probleem wordt opgelost met behulp van Simulated Annealing (SA) op klassieke hardware of de Dirac-3 photonic entropy-quantum machine van Quantum Computing Inc. (QCi). De Dirac-3 maakt directe oplossing van hogere-orde termen mogelijk zonder de quadratiseringsoverhead die vereist is voor gate-based of annealing hardware zoals D-Wave.

Fase 4: Frontier Adjudicatie

Er wordt één enkele call gedaan naar een krachtig frontier LLM (bijv. Claude Sonnet 4.6 of Opus 4.6). Het model ontvangt de vraag, alle opties, en de door HUBO geselecteerde evidence subsets voor elk kandidaatantwoord, gelabeld door hun respectieve hypothese. Het frontier model fungeert als een adjudicator (rechter), die de optie selecteert die het sterkst wordt ondersteund door de geoptimaliseerde evidence ensemble.

3. Belangrijkste Bijdragen

1. Evidence-Pool HUBO Framework: Het artikel definieert een trace-augmented probleemformulering waarbij de selectie van bewijs een gestructureerd combinatorisch probleem is. Het introduceert een per-hypothese optimalisatiestrategie die het mogelijk maakt voor minderheidshypothesen om effectief te concurreren met meerderheidssignalen.
2. Theoretische Analyse: De auteurs bieden een theoretische analyse die bewijst dat:
   • HUBO-gewichten onafhankelijk zijn van de grootte van de trace pool (in tegenstelling tot frequentiegebaseerde methoden).
   • De per-pool decompositie wiskundig equivalent is aan een gezamenlijke optimalisatie onder permutatie-invariantie.
   • Het framework de voorspellingen van majority vote kan herstellen als de gewichten zo worden ingesteld dat ze de frequentie weerspiegelen, maar standaard kiest voor kwaliteitsgebaseerde selectie.
   • De methode een ondergrens biedt voor het mitigeren van adjudicator-biases (bijv. positiebias).
3. Empirische Evaluatie: De studie evalueert EP-HUBO op twee juridische benchmarks (MMLU-Pro Law en LEXam) met gebruik van zowel klassieke simulated annealing als de Dirac-3 quantum machine. Er wordt gebruik gemaakt van twee verschillende lokale trace generators en twee frontier adjudicators.

4. Experimentele Resultaten

Prestaties op MMLU-Pro Law (Common Law)

• vs. Majority Vote (MV): EP-HUBO presteert significant beter dan MV. Met de Opus adjudicator en Qwen-35B traces behaalde het een winst van 12,6 procentpunt (pp). Met OSS-20B traces was de winst +27,9 pp.
• vs. Zero-Shot (ZS): EP-HUBO levert meetbare winsten op ten opzichte van directe frontier calls. Met Opus verbeterde het de ZS-nauwkeurigheid met +1,5 pp (Qwen-35B traces) en +0,7 pp (OSS-20B traces).
• HUBO Precisie: De precisie (ratio van winst t.o.v. totaal aantal onenigheden met ZS) overschreed 50% voor de meeste configuraties, wat aangeeft dat wanneer HUBO van de zero-shot methode verschilt, het vaker correct is.

Prestaties op LEXam (Zwitsers/Internationaal Recht)

LEXam dient als een low-contamination benchmark met beperkte trainingsdata voor frontier-modellen.

• Bias Mitigatie: Zero-shot Claude Sonnet 4.6 vertoonde een ernstige positiebias, waarbij optie "E" werd gekozen in 87,7% van de vragen (tegenover ~13% grondwaarheid), wat resulteerde in een nauwkeurigheid van 22,3%.
• Impact van EP-HUBO: Door bewijs te selecteren, reduceerde EP-HUBO deze bias. Met Qwen-35B traces bereikte HUBO+Sonnet een nauwkeurigheid van 42,5% (een +20,2 pp winst over ZS Sonnet) met een HUBO-precisie van 92,0%.
• vs. Majority Vote: Op LEXam was MV vaak zwak vanwege de moeilijkheid van het domein voor lokale modellen. EP-HUBO met Opus behaalde +23,2 pp over MV (OSS-20B traces).

Quantum vs. Klassiek Oplossen

• LEXam: De Dirac-3 quantum solver produceerde resultaten die competitief waren met klassieke Simulated Annealing. In sommige configuraties (bijv. Qwen-35B + Opus) overtrof de quantum solver de klassieke SA licht (+1,0 pp).
• MMLU-Pro Law: De quantum solver presteerde onder de klassieke SA met 5–8 pp. De auteurs wijten dit aan de 135-variabele limiet van de Dirac-3 voor derde-orde objectieven. Wanneer de fragment pool deze limiet overschreed, moest het systeem de interactie-graaf inkorten, terwijl de klassieke solver op de volledige, niet-ingekorte HUBO-landschap opereerde.

5. Betekenis en Claims

Het artikel claimt dat EP-HUBO een geprincieerde manier biedt om redeneerfragmenten te aggregeren die minderheid-maar-correcte hypothesen behoudt, wat bijzonder waardevol is in low-contamination domeinen waar frontier-modellen het benchmarkmateriaal nog niet volledig hebben opgenomen.

• Ontkoppeling van Populariteit: De kernbetekenis ligt in het verschuiven van de aggregatielogica van "wat het meest voorkomt" naar "wat het best wordt ondersteund", waardoor het systeem een ruisende meerderheid kan overrulen.
• Blootstelling van Bias: Het framework legt specifieke idiosyncrasieën van frontier-modellen bloot en mitigeert deze, zoals de ernstige positiebias waargenomen bij Claude Sonnet op vragen over Zwitsers recht.
• Quantum Nut: Het werk demonstreert dat quantum-geïnspireerde HUBO-solvers competitief kunnen zijn met klassieke methoden in gespecialiseerde domeinen, mits hardwarebeperkingen (zoals variabelenlimieten) worden beheerd. De auteurs zijn echter bescheiden over het quantumvoordeel en merken op dat het momenteel vergelijkbaar is met klassieke SA en beperkt wordt door de capaciteit van de hardware.
• Praktische Implementatie: De auteurs benadrukken dat hoewel EP-HUBO de nauwkeurigheid verbetert en bias vermindert, het niet de noodzaak voor menselijke controle (human-in-the-loop) wegneemt in gereguleerde sectoren, aangezien transparantie en auditlogs van het geselecteerde bewijs cruciale waarborgen blijven.

Het artikel concludeert dat de methode het meest effectief is wanneer de lokale trace generator diverse pools van bewijs produceert en de frontier adjudicator sterk genoeg is om het geoptimaliseerde bewijs te synthetiseren, maar niet zo sterk dat deze het benchmarkmateriaal al heeft geïnternaliseerd (low contamination).