🤖 machine learning

PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

Die Arbeit stellt PASC vor, eine pipelinebewusste konforme Vorhersagemethode, die finite-Stichproben-gemeinsame Abdeckungsgarantien für mehrstufige NLP- und LLM-Systeme sicherstellt, indem sie das Problem auf eine einzelne skalare Quantilberechnung reduziert und dadurch sowohl in der Genauigkeit als auch in der Effizienz die unabhängige Kalibrierung und konservative Bonferroni-Schranken deutlich übertrifft.

Ursprüngliche Autoren: Varun Kotte

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Varun Kotte

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „zerbrochene Kette" der KI

Stellen Sie sich vor, Sie bauen eine komplexe Maschine, um Post zu sortieren. Sie besteht aus drei Schritten:

Schritt A: Ein Roboter scannt den Umschlag und findet die Adresse.
Schritt B: Ein zweiter Roboter schlägt diese Adresse in einer Datenbank nach, um die Postleitzahl zu ermitteln.
Schritt C: Ein dritter Roboter legt den Brief basierend auf dieser Postleitzahl in den richtigen Behälter.

In der Welt der KI (speziell NLP und LLMs) nennt man diese Pipelines. Das Papier weist auf ein großes Problem hin: Wenn Sie sicherstellen, dass Schritt A zu 90 % korrekt ist, Schritt B zu 90 % korrekt ist und Schritt C zu 90 % korrekt ist, ist die gesamte Maschine nicht zu 90 % korrekt.

Da die Schritte nacheinander ablaufen, häufen sich Fehler an. Wenn Schritt A einen winzigen Fehler macht, erhält Schritt B eine falsche Eingabe, und Schritt C schlägt vollständig fehl. Bis der Brief den Behälter erreicht, funktioniert das gesamte System möglicherweise nur noch zu 73 %, obwohl jeder einzelne Roboter „zu 90 % zuverlässig" war.

Die alten Lösungen: Raten oder übermäßige Vorsicht

Das Papier besagt, dass bestehende Methoden zur Behebung dieses Problems fehlerhaft sind:

Die „Unabhängige" Methode: Diese behandelt jeden Roboter separat. Sie sagt: „Ich bin zu 90 % sicher, dass Schritt A richtig ist, und zu 90 % sicher, dass Schritt B richtig ist."
- Der Fehler: Sie ignoriert die Tatsache, dass, wenn Schritt A versagt, die gesamte Kette bricht. Sie vermittelt ein falsches Sicherheitsgefühl bezüglich des Endergebnisses.
Die „Bonferroni"-Methode: Dies ist der „paranoide" Ansatz. Um zu garantieren, dass die gesamte Kette zu 90 % funktioniert, zwingt sie jeden Roboter, zu 99 % genau zu sein (durch gleichmäßige Aufteilung des Fehlerbudgets).
- Der Fehler: Sie ist zu konservativ. Sie zwingt die einfachen Schritte (wie das Finden einer Adresse), viel härter zu arbeiten als nötig, was alles verlangsamt und das System weniger effizient macht, obwohl das Endergebnis sicher ist.

Die neue Lösung: PASC (Die „Schwächste-Glied"-Strategie)

Die Autoren stellen PASC vor (Pipeline-Aware Split Conformal Prediction).

Die Kernidee:
Anstatt zu prüfen, ob Roboter A gut ist, Roboter B gut ist und Roboter C gut ist, stellt PASC eine einzige Frage: „Ist der schlimmste Fehler in der gesamten Kette klein genug?"

Stellen Sie sich eine Kette aus Metallgliedern vor. Die Stärke der Kette ist nicht der Durchschnitt aller Glieder; sie wird durch das schwächste Glied bestimmt.

Wenn Glied 1 stark ist, Glied 2 stark ist, aber Glied 3 schwach ist, bricht die gesamte Kette bei Glied 3.
PASC konzentriert sich vollständig auf dieses schwächste Glied (den „maximalen Fehler") im gesamten Prozess.

Wie es funktioniert:

Das System führt die Pipeline an einer Reihe von Übungsbeispielen aus.
Für jedes Beispiel berechnet es den „Fehlerwert" für jeden Schritt.
Es wählt den höchsten Fehlerwert dieses spezifischen Durchlaufs aus (das „schwächste Glied").
Es legt einen einzigen Sicherheitsschwellenwert basierend auf diesen „schwächsten-Glied"-Werten fest.

Wenn das „schwächste Glied" in einem neuen, realweltlichen Beispiel unter diesem Schwellenwert liegt, sagt das System: „Wir sind sicher!" Wenn das schwächste Glied zu hoch ist, sagt es: „Vertrauen Sie diesem Ergebnis nicht."

Warum ist PASC besser?

Das Papier behauptet, PASC sei eine „Goldlöckchen"-Lösung – sie ist genau richtig.

Sie ist sicherer als die „Unabhängige" Methode: Sie garantiert tatsächlich, dass die gesamte Pipeline zu 90 % funktioniert (oder zu dem Zielwert, den Sie festlegen), nicht nur die einzelnen Teile.
Sie ist intelligenter als die „Paranoide" Methode: Sie zwingt die einfachen Schritte nicht zur Perfektion. Sie erkennt, dass wenn Schritt A einfach und Schritt C schwierig ist, die Sicherheit des Systems von Schritt C abhängt. PASC passt sich automatisch dem schwierigsten Teil der Kette an, während die alte „Paranoide" Methode Aufwand verschwendete, um die einfachen Teile super-duper perfekt zu machen.

Die Ergebnisse (Der „Beweis")

Die Autoren testeten dies an einer realweltlichen Textverarbeitungs-Pipeline (Namen finden, mit Fakten verknüpfen und kategorisieren).

Genauigkeit: PASC erreichte eine Erfolgsrate von 96,4 % für die gesamte Pipeline. Die „Paranoide" Methode erreichte 93,4 %, und die „Unabhängige" Methode erreichte nur 86,5 %.
Effizienz: PASC war genauso effizient wie die anderen (sie produzierte keine riesigen, nutzlosen Listen von Vermutungen).
Geschwindigkeit: Da PASC nur eine Sicherheitszahl berechnen muss anstatt drei separate, ist die Einrichtung 1,7-mal schneller.
Robustheit: Wenn sich die Daten änderten (z. B. der Wechsel von Nachrichtenartikeln zu Twitter-Beiträgen), blieb PASC zuverlässig, während die „Unabhängige" Methode abstürzte und den Benutzer nicht schützen konnte.

Das Fazit

PASC ist eine neue Art, KI-Systemen mit mehreren Schritten zu vertrauen. Anstatt jedem Schritt einzeln zu vertrauen oder bei jedem einzelnen Schritt übermäßig vorsichtig zu sein, betrachtet sie die gesamte Kette und stellt sicher, dass das schwächste Glied stark genug ist. Dies bietet den Nutzern ein mathematisch garantiertes Sicherheitsnetz für das Endergebnis, ohne das System zu verlangsamen.

Technische Zusammenfassung: PASC (Pipeline-Aware Conformal Prediction)

1. Problemstellung

Moderne NLP- und Large-Language-Modelle (LLM)-Systeme werden zunehmend als mehrstufige Pipelines eingesetzt (z. B. Named Entity Recognition $\to$ Entity Disambiguation $\to$ Entity Typing oder Planner $\to$ Tool $\to$ Critic-Ketten). Eine kritische Herausforderung in diesen Systemen ist die End-to-End (E2E) Unsicherheitsquantifizierung.

Während einzelne Stufen kalibriert werden können, um marginale Abdeckungsgarantien zu bieten (z. B. $P(\text{Stufe}_k \text{ abgedeckt}) \ge 1-\alpha$ ), lassen sich diese Garantien nicht auf die Pipeline als Ganzes übertragen.

Unabhängige Kalibrierung: Die unabhängige Kalibrierung jeder Stufe auf dem Niveau $1-\alpha$ führt zu einer gemeinsamen Abdeckungswahrscheinlichkeit von höchstens $(1-\alpha)^K$ (unter Unabhängigkeit), was mit zunehmender Anzahl der Stufen $K$ erheblich abnimmt. Für $K=3$ und $\alpha=0,1$ sinkt die gemeinsame Abdeckung auf $\approx 72,9\%$ , weit unter dem Zielwert von $90\%$ .
Bonferroni-Korrektur: Die Anwendung einer Vereinigungsbeschränkung durch Kalibrierung jeder Stufe auf $1-\alpha/K$ garantiert eine gemeinsame Abdeckung ( $\ge 1-\alpha$ ), ist jedoch übermäßig konservativ. Sie verteilt Fehlerbudgets unabhängig von der Schwierigkeit der Stufe gleichmäßig, was zu unnötig großen Vorhersagemengen (Überabdeckung) bei leichten Stufen führt, ohne proportionale Gewinne in der gemeinsamen Zuverlässigkeit zu erzielen.
Bestehende Alternativen: Methoden wie MC Dropout oder Deep Ensembles liefern heuristische Unsicherheitsschätzungen, fehlen jedoch an endlichen Stichproben-garantierten, verteilungsfreien Garantien und ignorieren oft Abhängigkeiten zwischen den Stufen.

Das Kernproblem ist das Fehlen einer Methode, die eine formale, endlichen-Stichproben-basierte, verteilungsfreie gemeinsame Abdeckungsgarantie für die gesamte Pipeline bietet und gleichzeitig Effizienz wahrt (d. h. ohne unnötige Aufblähung der Vorhersagemengengrößen).

2. Methodik: PASC

Die Autoren schlagen PASC (Pipeline-Aware Split Conformal) vor, eine Methode, die das Problem der gemeinsamen Kalibrierung mehrstufiger Systeme auf ein Standardproblem der skalaren konformen Vorhersage reduziert.

Kernidee

Das Ereignis „alle $K$ Stufen sind gleichzeitig abgedeckt" ist mathematisch äquivalent zum Ereignis „die maximale Nichtkonformitätsbewertung über alle Stufen überschreitet keinen Schwellenwert".
$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$
wobei $s_k$ die Nichtkonformitätsbewertung der Stufe $k$ ist.

Algorithmus

Bewertungsdefinition: Für eine Pipeline-Stichprobe werden stufenweise Nichtkonformitätsbewertungen ( $s_1, \dots, s_K$ $s_{1}, \dots, s_{K}$ ) berechnet.
- NER: $s_{NER} = \max_t (1 - p_{BIO, t})$ (Softmax-Wahrscheinlichkeit).
- NED: $s_{NED} = 1 - \text{score}(e^*)$ (Bewertung der höchstrangigen Entität).
- Entity Typing: $s_{typing} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$ .
Gemeinsame maximale Bewertung: Berechnung der skalaren maximalen Bewertung für jede Stichprobe: $s_{\max} = \max_k s_k$ .
Kalibrierung: Unter Verwendung eines Kalibrierungsdatensatzes wird das konforme Quantil $\hat{q}$ der Verteilung von $s_{\max}$ auf dem Niveau $1-\alpha$ berechnet.
Vorhersage: Für einen Testeingang werden stufenweise Bewertungen berechnet. Die Pipeline wird akzeptiert, wenn $s_{\max} \le \hat{q}$ . Die Vorhersagemenge für jede Stufe $k$ ist $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$ .

Theoretische Garantie

Unter der Annahme der Austauschbarkeit zwischen Kalibrierungs- und Testdaten bietet PASC eine endlichen-Stichproben-basierte, verteilungsfreie Garantie:
$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$
Die Garantie ist nahezu straff, begrenzt durch $1 - \alpha + \frac{1}{n+1}$ . Im Gegensatz zu Bonferroni, das eine Worst-Case-Vereinigungsbeschränkung verwendet, passt sich PASC der empirischen gemeinsamen Verteilung der Bewertungen an und weist automatisch engere Budgets für „einfache" Stufen (niedrige Bewertungen) und lockere Budgets für „schwere" Stufen zu.

3. Hauptbeiträge

PASC-Algorithmus: Ein pipeline-bewusster Kalibrierungsprozess, der die gemeinsame Abdeckung mehrstufiger Systeme auf eine einzelne skalare Quantilberechnung der gemeinsamen maximalen Nichtkonformitätsbewertung reduziert.
Formale Garantie: Ein Theorem, das unter Austauschbarkeit eine endlichen-Stichproben-basierte, verteilungsfreie gemeinsame Abdeckung ( $\ge 1-\alpha$ ) beweist, mit einem Ergebnis zur nahezu straffen Schranke.
Umfassende Evaluierung: Experimente über drei Verschiebungsszenarien (in-Verteilung, Twitter NER, Wikipedia NER), variierende Kalibrierungsgrößen und Skalierung von $K=1$ bis $K=6$ Stufen.
Verständigkeitsprüfungen: Permutationstests und negative Kontrollen, die bestätigen, dass die Validität kein Artefakt von Implementierungsfehlern, Datenlecks oder zu breiten Schwellenwerten ist.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PASC an einer dreistufigen Pipeline (NER $\to$ NED $\to$ Entity Typing) unter Verwendung der Datensätze CoNLL-2003, WNUT-17 und WikiNEuRal.

Abdeckung vs. Effizienz: Bei $\alpha=0,1$ $α = 0, 1$ mit $K=3$ $K = 3$ :
- PASC: Erreichte 96,4% E2E-Abdeckung.
- Bonferroni: Erreichte 93,4% E2E-Abdeckung.
- Unabhängige CP: Erreichte 86,5% E2E-Abdeckung.
- Entscheidend: Alle Methoden behielten eine identische durchschnittliche Vorhersagemengengröße von 1,083 bei, was die überlegene Effizienz von PASC bei der Umwandlung von Abdeckungswahrscheinlichkeit in Mengengröße demonstriert.
Verteilungsverschiebung: Bei Kalibrierung auf CoNLL-2003 und Testung auf verschobenen Domänen (WNUT-17, WikiNEuRal):
- Unabhängige CP kollabierte auf 59,0% Abdeckung.
- PASC und Bonferroni behielten 100% Abdeckung bei (aufgrund konservativer Schwellenwerte, die einen Puffer gegen Verschiebung bieten).
Skalierung auf $K$ Stufen: In synthetischen Experimenten mit Skalierung auf $K=6$ $K = 6$ :
- Die Abdeckung der unabhängigen CP sank auf 0,53 (multiplikativer Kollaps).
- PASC blieb nahe der Zielabdeckung und vermied den multiplikativen Zerfall.
Bedingte Abdeckung: PASC zeigte signifikante Vorteile bei „schwierigen" Subpopulationen (z. B. das härteste NER-Vertrauensquintil) und erreichte 82,0% Abdeckung im Vergleich zu 67,0% für Bonferroni und 30,0% für unabhängige CP.
Laufzeit: Die PASC-Kalibrierung ist 1,7 $\times$ schneller als Bonferroni und unabhängige CP, da nur ein Quantil statt $K$ berechnet werden muss.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass PASC eine fundamentale Lücke im Einsatz mehrstufiger NLP-Systeme schließt:

Direkte Zertifizierung: Im Gegensatz zur unabhängigen CP (die lokale Stufen zertifiziert, aber global versagt) oder Bonferroni (die global garantiert, aber eine „Konservatismus-Steuer" zahlt), zertifiziert PASC das exakte bereitgestellte Ereignis von Interesse (gemeinsame Akzeptanz) direkt.
Minimale Reduktion: Die Reduktion von einem mehrstufigen Problem auf ein skalares Problem ist mathematisch einfach (unter Verwendung des Maximums), stellt aber die minimal ausreichende monotone Skalierung für das Ereignis der gemeinsamen Akzeptanz dar.
Praktische Anwendbarkeit: Die Methode ist sofort auf jede mehrstufige Pipeline anwendbar (einschließlich zusammengesetzter LLM-Systeme und Agenten-Workflows), ohne dass Modellmodifikationen oder hohe Inferenz-Overheads erforderlich sind.
Robustheit: Während theoretische Garantien auf Austauschbarkeit beruhen, deuten empirische Ergebnisse darauf hin, dass PASC die Abdeckung unter Verteilungsverschiebung besser aufrechterhält als unabhängige CP, obwohl die Autoren anmerken, dass die Erweiterung auf gewichtete CP für eine robuste Verschiebungsbewältigung zukünftige Arbeit ist.

Die Autoren positionieren PASC nicht als Ersatz für stufenspezifische Kalibrierung, sondern als notwendige Aggregationsschicht, die die Zuverlässigkeit der Ausgabe der gesamten Pipeline sicherstellt, was die Metrik ist, die für nachgelagerte Entscheidungsfindung in hochriskanten Anwendungen zählt.