Technische Samenvatting: PASC (Pipeline-Aware Conformal Prediction)

1. Probleemstelling

Moderne NLP-systemen en Large Language Model (LLM)-systemen worden steeds vaker ingezet als meerstaps-pipelines (bijvoorbeeld: Named Entity Recognition $\to$ Entity Disambiguation $\to$ Entity Typing, of Planner $\to$ Tool $\to$ Critic-ketens). Een kritieke uitdaging in deze systemen is End-to-End (E2E) Uncertainty Quantification.

Hoewel individuele stadia kunnen worden gekalibreerd om marginale dekkinggaranties te bieden (bijvoorbeeld $P(\text{stadium}_k \text{ gedekt}) \ge 1-\alpha$), vertalen deze garanties zich niet naar de pipeline als geheel.

• Onafhankelijke Kalibratie: Het onafhankelijk kalibreren van elk stadium op niveau $1-\alpha$ resulteert in een gezamenlijke dekkingwaarschijnlijkheid van maximaal $(1-\alpha)^K$ (onder onafhankelijkheid), wat aanzienlijk verslechtert naarmate het aantal stadia $K$ toeneemt. Voor $K=3$ en $\alpha=0.1$ daalt de gezamenlijke dekking naar $\approx 72,9\%$, ver onder de beoogde $90\%$.
• Bonferroni-correctie: Het toepassen van een unie-bounds door elk stadium te kalibreren op $1-\alpha/K$ garandeert gezamenlijke dekking ($\ge 1-\alpha$), maar is overdreven conservatief. Het verdeelt foutbudgetten uniform, ongeacht de moeilijkheidsgraad van het stadium, wat leidt tot onnodig grote voorspellingssets (over-dekking) bij makkelijke stadia zonder evenredige winst in gezamenlijke betrouwbaarheid.
• Bestaande Alternatieven: Methoden zoals MC Dropout of Deep Ensembles bieden heuristische onzekerheidsschattingen, maar missen eindige-steekproef, distributie-vrije garanties en negeren vaak cross-stadium afhankelijkheden.

Het kernprobleem is het ontbreken van een methode die een formele, eindige-steekproef, distributie-vrije gezamenlijke dekkinggarantie biedt voor de hele pipeline, terwijl efficiëntie wordt behouden (d.w.z. zonder onnodig voorspellingssetgroottes op te blazen).

2. Methodologie: PASC

De auteurs stellen PASC (Pipeline-Aware Split Conformal) voor, een methode die het meerstaps gezamenlijke kalibratieprobleem reduceert tot een standaard scalair conformal prediction-probleem.

Kerninzicht

De gebeurtenis "alle $K$ stadia zijn gelijktijdig gedekt" is wiskundig equivalent aan de gebeurtenis "de maximale non-conformiteitsscore over alle stadia overschrijdt geen drempel".
$$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$$
waarbij $s_k$ de non-conformiteitsscore van stadium $k$ is.

Algorithmus

1. Scoredefinitie: Voor een pipelinesample worden per-stadium non-conformiteitsscores ($s_1, \dots, s_K$) berekend.
   • NER: $s_{NER} = \max_t (1 - p_{BIO, t})$ (softmax-waarschijnlijkheid).
   • NED: $s_{NED} = 1 - \text{score}(e^*)$ (score van het best gerangschikte entiteit).
   • Entity Typing: $s_{typing} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$.
2. Gezamenlijke Maximale Score: Bereken de scalair maximale score voor elke sample: $s_{\max} = \max_k s_k$.
3. Kalibratie: Gebruik een kalibratieset om het conformale kwantiel $\hat{q}$ van de verdeling van $s_{\max}$ op niveau $1-\alpha$ te berekenen.
4. Voorspelling: Voor een testinput worden per-stadium scores berekend. De pipeline wordt geaccepteerd als $s_{\max} \le \hat{q}$. De voorspellingsset voor elk stadium $k$ is $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$.

Theoretische Garantie

Onder de aanname van uitwisselbaarheid tussen kalibratie- en testdata, biedt PASC een eindige-steekproef, distributie-vrije garantie:
$$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$$
De garantie is bijna strak, begrensd door $1 - \alpha + \frac{1}{n+1}$. In tegenstelling tot Bonferroni, dat een worst-case unie-bound gebruikt, past PASC zich aan de empirische gezamenlijke verdeling van de scores aan, en wijst automatisch strakkere budgetten toe aan "makkelijke" stadia (lage scores) en ruimere budgetten aan "moeilijke" stadia.

3. Belangrijkste Bijdragen

1. PASC-algoritme: Een pipeline-bewuste kalibratieprocedure die meerstaps gezamenlijke dekking reduceert tot een enkele scalair kwantielberekening op de gezamenlijke maximale non-conformiteitsscore.
2. Formele Garantie: Een stelling die eindige-steekproef, distributie-vrije gezamenlijke dekking ($\ge 1-\alpha$) bewijst onder uitwisselbaarheid, met een resultaat voor bijna-strakheid.
3. Uitgebreide Evaluatie: Experimenten over drie verschuivingsscenario's (in-distributie, Twitter NER, Wikipedia NER), variërende kalibratiegroottes, en schaling van $K=1$ tot $K=6$ stadia.
4. Sanity Checks: Permutatietests en negatieve controles die bevestigen dat de geldigheid geen artefact is van implementatiefouten, datalekken of te brede drempels.

4. Experimentele Resultaten

De auteurs hebben PASC geëvalueerd op een driestaps-pipeline (NER $\to$ NED $\to$ Entity Typing) met behulp van de CoNLL-2003, WNUT-17 en WikiNEuRal datasets.

• Dekking vs. Efficiëntie: Bij $\alpha=0.1$ met $K=3$:
  • PASC: Bereikte 96,4% E2E-dekking.
  • Bonferroni: Bereikte 93,4% E2E-dekking.
  • Onafhankelijke CP: Bereikte 86,5% E2E-dekking.
  • Cruciaal: Alle methoden behielden een identieke gemiddelde voorspellingssetgrootte van 1,083, wat de superieure efficiëntie van PASC demonstreert bij het omzetten van dekkingwaarschijnlijkheid in setgrootte.
• Distributieverplaatsing: Bij kalibratie op CoNLL-2003 en testen op verschoven domeinen (WNUT-17, WikiNEuRal):
  • Onafhankelijke CP stortte in naar 59,0% dekking.
  • PASC en Bonferroni behielden 100% dekking (door conservatieve drempels die een buffer bieden tegen verschuiving).
• Schaling naar $K$ Stadia: In synthetische experimenten met schaling naar $K=6$:
  • Onafhankelijke CP-dekking daalde naar 0,53 (multiplicatieve ineenstorting).
  • PASC bleef dicht bij de beoogde dekking en vermijdt de multiplicatieve achteruitgang.
• Voorwaardelijke Dekking: PASC toonde aanzienlijke voordelen op "moeilijke" subpopulaties (bijvoorbeeld de moeilijkste NER-vertrouwensquintiel), met 82,0% dekking tegenover 67,0% voor Bonferroni en 30,0% voor Onafhankelijke CP.
• Uitvoeringstijd: PASC-kalibratie is 1,7$\times$ sneller dan Bonferroni en Onafhankelijke CP omdat slechts één kwantiel moet worden berekend in plaats van $K$.

5. Betekenis en Claims

De paper claimt dat PASC een fundamentele kloof aanpakt in de implementatie van meerstaps NLP-systemen:

• Directe Certificering: In tegenstelling tot Onafhankelijke CP (die lokale stadia certificeert maar faalt op globaal niveau) of Bonferroni (die globaal garandeert maar een "conservatisme-taks" betaalt), certificeert PASC direct het exacte ingevoerde gebeurtenis van belang (gezamenlijke acceptatie).
• Minimale Reductie: De reductie van een meerstapsprobleem tot een scalair probleem is wiskundig eenvoudig (met gebruik van het maximum), maar vertegenwoordigt de minimale voldoende monotone scalarisatie voor het gezamenlijke acceptatiegebeurtenis.
• Praktische Toepasbaarheid: De methode is direct toepasbaar op elke meerstaps-pipeline (inclusief samengestelde LLM-systemen en agent-workflows) zonder modelwijziging of zware inferentie-overhead.
• Robuustheid: Hoewel theoretische garanties rusten op uitwisselbaarheid, suggereren empirische resultaten dat PASC onder distributieverplaatsing betere dekking behoudt dan Onafhankelijke CP, hoewel de auteurs opmerken dat uitbreiding naar gewogen CP voor robuuste verplaatsingsbehandeling toekomstig werk is.

De auteurs positioneren PASC niet als vervanging voor stadium-specifieke kalibratie, maar als de noodzakelijke aggregatielaag die de betrouwbaarheid van de output van de hele pipeline waarborgt, wat de maatstaf is die telt voor downstream besluitvorming in toepassingen met hoge risico's.