Technische Samenvatting: De Getrouwheidskloof in LLM-Autoformalisatie

1. Probleemdefinitie: De Getrouwheidskloof (The Faithfulness Gap)

Moderne autoformalisatiesystemen, die natuurlijke taal (NL) wiskunde vertalen naar formele bewijsassistenten (bijv. Lean 4, Isabelle/HOL), worden momenteel niet beperkt door vertaalvloeiendheid, maar door getrouwheid (faithfulness). Hoewel een gegenereerde formele bewering syntactisch correct (typecheckbaar) en zelfs bewijsbaar kan zijn, kan deze een stelling coderen die semantisch verschillend is van de brontekst in natuurlijke taal.

De auteurs identificeren dit als de getrouwheidskloof. In tegenstelling tot code, waarbij unit tests een uitvoerbare oracle bieden, ontbreekt bij wiskundige formalisatie een directe brug tussen NL (geïnterpreteerd onder impliciete conventies) en formele logica (geïnterpreteerd onder afhankelijke typentheorie). Standaard evaluatiemetrieken—zoals BLEU-scores tegen een referentie, expert-steekproeven of downstream prover-succes—falen in het detecteren van "insidieuze" fouten waarbij de formalisatie vloeiend en bewijsbaar is, maar semantisch onjuist.

Het papier formaliseert dit probleem via een interpretatiedistributie ($D_N$), die de verzameling formele beweringen vertegenwoordigt die wiskundigen als een uitdrukking van een gegeven NL-bewering $N$ zouden accepteren. Een kandidaat-formalisatie $F$ is $\epsilon$-getrouw als deze bewezen equivalent is aan $1-\epsilon$ van de beweringen in $D_N$. De auteurs categoriseren semantische drift in vier canonieke klassen:

1. $\Delta\forall$ (Kwantor-inversie): Het omdraaien van de volgorde van kwantoren (bijv. $\forall x \exists y$ vs. $\exists y \forall x$).
2. $\Delta H$ (Hypothese-omissie): Het weglaten van een premisse, waardoor de formele bewering strikter is dan bedoeld.
3. $\Delta C$ (Conclusie-generalisatie): Het versterken van de conclusie zodanig dat $F \Rightarrow N$ geldt, maar $N \not\Rightarrow F$.
4. $\Delta T$ (Type-coercie): Stille heretikettering van types (bijv. $\mathbb{R} \to \mathbb{Q}$), wat vaak het moeilijkst syntactisch te detecteren is.

2. Methodologie: Bidirectionale Bewijsbaarheidsvingerafdruk (BPF)

De kernbijdrage is Bidirectionale Bewijsbaarheidsvingerafdruk (BPF), een referentievrij raamwerk dat getrouwheid certificeert door de "consequentie-nabootschappen" (consequence neighborhoods) van de NL-bewering en de kandidaat-formalisatie te vergelijken.

2.1. Het Kernmechanisme

BPF werkt op het inzicht dat de betekenis van een bewering wordt gedefinieerd door wat zij impliceert en wat haar impliceert.

• Forward Fingerprint ($\Phi^+_F$): De verzameling probes die door de kandidaat $F$ worden geïmpliceerd.
• Backward Fingerprint ($\Phi^-_F$): De verzameling probes die $F$ impliceren.
• Equivalentie: Twee beweringen zijn semantisch equivalent als hun forward en backward fingerprints samenvallen over een voldoende rijke verzameling probes.

De pijplijn omvat:

1. Probe Generatie: Het synthetiseren van een verzameling semantische probes ($P$) uit de NL-bewering $N$.
2. Autoformalisatie: Het omzetten van deze probes in formele beweringen.
3. Implicatiecontrole: Het gebruik van een bewijsassistent (Lean 4 + mathlib4) als een oracle om de implicatierelaties tussen $F$ en de probes te berekenen.
4. Fingerprint Vergelijking: Het vergelijken van de fingerprint van de kandidaat met de voorspelde fingerprint afgeleid van $N$.

2.2. Belangrijke Componenten

Het raamwerk introduceert vier nieuwe componenten om detectie en efficiëntie te verbeteren:

1. Counterfactual Probe Generation (CPG):
   In plaats van generieke sampling gebruikt CPG een contrastieve procedure. Het genereert mechanisch "gedrifte tweelingen" ($N^D$) voor elk van de vier driftklassen (bijv. door kwantoren te wisselen). Een LLM wordt vervolgens geprompt om probes te generen die specifiek onderscheid maken tussen $N$ en $N^D$. Dit richt zich op de specifieke foutmodi die de certifier beoogt te detecteren.

2. Het Equivalentiespectrum ($E(F, N)$):
   Vervanging van breekbare binaire oordelen (Getrouw/Gedrift) door een continue score in $[0, 1]$. Deze score is gekalibreerd tegen expert-annotaties om drie beslissingsregio's te definiëren:

   • ACCEPT: $E \ge 0.93$
   • REVIEW: $0.78 \le E < 0.93$ (vereist menselijke triage)
   • REJECT: $E < 0.78$

3. Adaptive Probe Budget Allocation (APBA):
   Een informatie-theoretische router die het beperkte "tactic budget" (tijd/kosten voor bewijszoektocht) dynamisch toewijst. APBA selecteert probes die de verwachte reductie in entropie met betrekking tot de drift-status maximaliseren, in plaats van uniform te samplen. Dit bereikt dezelfde detectie-accuratesse met aanzienlijk minder probes.

4. Faithfulness-Guided Decoding (FGD):
   Een feedbackloop waarbij BPF-scores worden gebruikt als een beloningssignaal tijdens het autoformalisatieproces. In een sample-and-rerank opstelling worden kandidaten gescoord door BPF. Als de top-kandidaten in de "REVIEW" of "REJECT" zones vallen, wordt de hoogst scorende "witness probe" (de specifieke probe die de drift onthulde) als een in-context hint teruggekoppeld aan de LLM om de fout te herstellen.

3. Theoretische Garanties

Het papier biedt twee belangrijke theoretische resultaten:

• Drift Detectie Theorema: Bewijst dat voor elke specifieke driftklasse $D$, indien de probe-generator een niet-nul "witnessability rate" ($\alpha$) heeft, BPF de drift kan detecteren met een waarschijnlijkheid van $1-\delta$ met een probe-budget van $k \ge \frac{1}{\alpha} \log(1/\delta)$.
• PAC-Faithfulness: Stelt vast dat de equivalentieklasse van een NL-bewering leerbaar is met $O(\log(1/\delta)/\epsilon)$ probes, ervan uitgaande dat de probe-distributie elke bereikbare drift kan getuigen (witness).

De auteurs erkennen ook beperkingen: BPF kan geen conventie-drift detecteren (waarbij de notatie verandert maar de logische inhoud identiek blijft) en is afhankelijk van de volledigheid van de bewijs-oracle (onvolledige bewijzen kunnen leiden tot fout-negatieven).

4. Experimentele Resultaten

De auteurs hebben DRIFTBENCH uitgebracht, een benchmark van 2.183 NL/Lean 4 paren met gecontroleerde drift-labels over zes wiskundige deelgebieden.

Detectieprestaties:

• BPF + CPG detecteert 89,6% van de gedrifte formalisaties bij een false-positive rate van 3,0%.
• Dit presteert aanzienlijk beter dan de baselines:
  • Alleen typecheck: 11,4% detectie.
  • Bewijsbaarheid (unprovable flag): 41,2% detectie.
  • LLM-judge (directe getrouwheidscheck): 63,3% detectie.
  • Back-translation: 58,9% detectie.
• APBA vermindert de computationele kosten (wandkloktijd) met een factor 3,2× vergeleken met uniforme sampling, terwijl de detectiepercentages behouden blijven.

Impact van FGD:
Wanneer toegepast als post-processing stap op een state-of-the-art autoformalizer, verminderde FGD de snelheid van uitgegeven gedrifte verklaringen van 19,4% naar 10,3% (een relatieve reductie van 47%), primair door opnieuw te prompten op fouten in hypothese-omissie en conclusie-generalisatie.

5. Betekenis en Claims

Het papier claimt dat de getrouwheidskloof de primaire bottleneck is voor betrouwbare autoformalisatie op de schaal van volledige wiskundige bibliotheken. De betekenis van dit werk ligt in:

1. Referentievrije Certificering: Het biedt een methode om getrouwheid te verifiëren zonder een "gouden standaard" formalisatie te vereisen, die vaak niet beschikbaar is.
2. Operationalisering van Semantiek: Het verschuift het evaluatieparadigma van syntactische overlap (BLEU) of bewijsbaarheid naar inferentiële semantiek (consequentie-nabootschappen), wat aansluit bij bewijs-theoretische semantiek.
3. Schaalbaarheid: Door de introductie van APBA en het Equivalentiespectrum biedt het een praktisch, kosteneffectief triage-instrument dat menselijke expert-review kan prioriteren in plaats van te vervangen.
4. Benchmarking: DRIFTBENCH wordt gepresenteerd als de eerste benchmark met gecontroleerde drift-labels, wat systematische evaluatie van getrouwheid mogelijk maakt in plaats van enkel de capaciteit van de prover.

De auteurs positioneren BPF niet als een perfecte oplossing die alle fouten elimineert (met name wijzend op de beperking wat betreft conventie-drift), maar als een concrete stap naar het dichten van de getrouwheidskloof, wat de veilige integratie van AI-gegenereerde formele wiskunde in rigoureuze bibliotheken mogelijk maakt.