🤖 machine learning

Conf-Gen: Conformal Uncertainty Quantification for Generative Models

Dieser Beitrag stellt Conf-Gen vor, ein allgemeines Framework, das die konforme Risikokontrolle auf unüberwachte generative Modelle wie LLMs und Bildgeneratoren anwendet und dadurch formale Unsicherheitsgarantien für diverse Aufgaben wie die Verifizierung nicht auswendig gelernter Bildgenerierung, die Klarheit in Konversationen und die Korrektheit von Agenten bietet.

Ursprüngliche Autoren: Gabriel Loaiza-Ganem, Kevin Zhang, Wei Cui, Marc T. Law, Kin Kwan Leung

Veröffentlicht 2026-05-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gabriel Loaiza-Ganem, Kevin Zhang, Wei Cui, Marc T. Law, Kin Kwan Leung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal übermütigen Freund, der gerne Ideen entwickelt, Geschichten schreibt oder Bilder zeichnet. Manchmal ist er brillant, aber zu anderen Zeiten erfindet er Dinge, wiederholt alte Witze oder gerät in eine Schleife. Sie möchten ihm vertrauen, brauchen aber eine Möglichkeit zu wissen: „Ist diese spezifische Ausgabe tatsächlich gut, oder sollte ich besorgt sein?"

Dies ist das Problem, das der Artikel Conf-Gen zu lösen versucht. Er führt ein neues „Qualitätskontroll"-System für KI-Generatoren (wie Bildkünstler oder Chatbots) ein, das Ihnen eine mathematische Garantie über die Qualität der Ausgabe bietet, ohne dass Sie genau wissen müssen, wie die KI denkt.

Hier ist die Funktionsweise, aufgeschlüsselt mit einfachen Analogien:

1. Das Problem: Der „Black-Box"-Generator

Traditionelle KI-Sicherheitstools funktionieren gut bei einfachen Aufgaben (wie „Ist diese E-Mail Spam?"). Moderne KI-Generatoren sind jedoch anders. Sie wählen nicht nur eine Antwort aus; sie erzeugen einen ganzen Strom von Möglichkeiten (eine Wortfolge, eine Reihe von Bildern oder eine Kette von Aktionen).

Das Problem: Wenn Sie eine KI bitten, ein Bild zu zeichnen, wie wissen Sie dann, dass sie nicht einfach ein urheberrechtlich geschütztes Bild aus ihren Trainingsdaten kopiert hat? Wenn Sie einem Chatbot eine Frage stellen, wie wissen Sie dann, dass er nicht einfach geraten hat?
Der alte Weg: Frühere Methoden versuchten, diese komplexen Generatoren in einfache Kästen zu zwingen, was oft scheiterte oder erforderte, dass die KI sehr spezifisch darüber Auskunft gab, was sie tat.

2. Die Lösung: Der „Conf-Gen"-Filter

Die Autoren schlagen Conf-Gen (Conformal Generation) vor. Stellen Sie sich dies als einen intelligenten Sieb oder einen Qualitätsfilter vor, der zwischen der KI und Ihnen sitzt.

Hier ist der schrittweise Prozess:

Schritt A: Die „Kalibrierungs-Party" (Lernen der Regeln)

Bevor die KI ihre eigentliche Arbeit beginnt, zeigen Sie ihr eine Reihe von Beispielen (ein „Kalibrierungsdatensatz").

Die Analogie: Stellen Sie sich vor, Sie trainieren einen neuen Sicherheitsbeamten. Sie zeigen ihm 100 Fotos von „guten" und „schlechten" Personen. Sie bringen ihm nicht bei, warum jemand schlecht ist; Sie zeigen ihm lediglich das Muster.
Was Conf-Gen tut: Es betrachtet diese Beispiele und ermittelt einen „Schwellenwert" (nennen wir ihn das Sicherheitsniveau). Es fragt: „Wie streng muss ich sein, um sicherzustellen, dass 90 % der Zeit die Ausgabe, die ich durchlasse, tatsächlich gut ist?"

Schritt B: Die „Wertungskarte" (Messung des Vertrauens)

Die KI generiert eine Liste potenzieller Antworten oder Bilder. Conf-Gen betrachtet nicht nur das Endergebnis; es betrachtet einen Score für jeden Eintrag.

Die Analogie: Stellen Sie sich vor, die KI ist ein Koch, der 10 verschiedene Suppen zubereitet. Conf-Gen ist ein Probierer, der jeder Suppe einen Score gibt, basierend darauf, wie „sicher" oder „korrekt" sie aussieht.
Die Magie: Das System kann verschiedene Arten von Scores verarbeiten. Für einen Chatbot könnte der Score sein „Wie klar ist die Frage?". Für einen Bildgenerator könnte der Score sein „Sieht dies aus wie eine Kopie eines echten Fotos?".

Schritt C: Der „Abschneidepunkt" (Anwendung der Garantie)

Sobald die KI eine Sequenz generiert hat, wendet Conf-Gen das in Schritt A gelernte Sicherheitsniveau an.

Die Analogie: Stellen Sie sich einen Türsteher in einem Club vor. Wenn das „Sicherheitsniveau" auf 90 % eingestellt ist, lässt der Türsteher nur Gäste herein, die hoch genug punkten.
Das Ergebnis: Das System könnte sagen: „Ich zeige Ihnen nur die ersten 3 Antworten, die die KI gegeben hat, denn danach sinkt das Vertrauen." Oder: „Ich zeige Ihnen nur das Bild, das definitiv keine Kopie ist."

Die Garantie: Der Artikel beweist mathematisch, dass Sie, wenn Sie diese Regeln befolgen, zu 90 % sicher sein können (oder zu dem Prozentsatz, den Sie wählen), dass die erhaltene Ausgabe Ihren Qualitätsstandard erfüllt. Es ist keine Vermutung; es ist eine formale Zusage.

3. Was macht dies besonders? (Die „gelockerten" Regeln)

Frühere Methoden waren sehr starr. Sie verlangten, dass sich die KI auf eine sehr spezifische, vorhersehbare Weise verhält (wie eine gerade Linie).

Die Innovation von Conf-Gen: Es ist viel flexibler. Es erkennt, dass sich KI nicht immer in einer geraden Linie bewegt. Manchmal kann es passieren, dass eine Aufforderung „präziser" zu machen, das Bild versehentlich schlechter (weniger sicher) macht.
Die Analogie: Alte Methoden waren wie ein Zug auf einem Gleis – er musste geradeaus fahren. Conf-Gen ist wie ein Wanderer mit einer Karte. Der Wanderer kann hoch, runter oder zur Seite gehen, solange er schließlich die „sichere Zone" erreicht. Conf-Gen kann diese Kurven und Wendungen bewältigen und Ihnen dennoch die Garantie geben.

4. Reale Beispiele aus dem Artikel

Die Autoren testeten dies an mehreren „neuartigen" Aufgaben, um zu zeigen, wie flexibel es ist:

Der „Anti-Plagiat"-Künstler: Sie verwendeten es bei einem Bildgenerator (Stable Diffusion). Das Ziel war es, sicherzustellen, dass die KI nicht einfach ein berühmtes Gemälde kopierte. Conf-Gen fungierte als Filter und stellte sicher, dass die gezeigten Bilder mit hohem Vertrauen „nicht auswendig gelernt" (originell) waren.
Der „Klärende" Chatbot: Sie verwendeten es bei einem konversationellen KI-System. Das Ziel war es, sicherzustellen, dass der Bot genügend Folgefragen stellte, bevor er antwortete. Conf-Gen garantierte, dass der Bot nicht einfach eine Antwort auf eine vage Frage rät; er würde weiterfragen, bis die Frage klar genug war.
Der „Agent"-Planer: Sie verwendeten es bei einem KI-Agenten, der versuchte, ein Hotel zu buchen oder online nach einem Papier zu suchen. Conf-Gen stellte sicher, dass der Plan der KI eine hohe Wahrscheinlichkeit hatte, tatsächlich zu funktionieren, bevor der Nutzer ihn versuchte.
Der „Baum"-Selektor: Sie verwendeten es sogar bei einem klassischen Random Forest (eine Art älterer KI). Anstatt alle 100 Bäume im Wald zu verwenden, wählte Conf-Gen die kleinste Gruppe von Bäumen aus, die für eine korrekte Antwort garantiert war, und sparte so Rechenleistung.

Zusammenfassung

Conf-Gen ist ein neues Toolkit, das es Ihnen ermöglicht, ein „Sicherheitsnetz" unter jede generative KI zu legen.

Es muss nicht wissen, wie die KI funktioniert.
Es muss nicht, dass die KI perfekt ist.
Es braucht nur eine Möglichkeit, die Ausgabe zu bewerten.

Durch die Anwendung dieser Methode können Sie zu Ihrer KI sagen: „Es ist mir egal, wie Sie auf die Antwort kommen, aber ich verspreche, dass in 95 % der Fälle die Antwort, die Sie mir geben, korrekt (oder sicher oder originell) ist." Dies macht es möglich, leistungsstarke, kreative KI in hochriskanten Situationen einzusetzen, in denen Sie es sich nicht leisten können, falsch zu liegen.

Technischer Überblick: Conf-Gen: Konforme Unsicherheitsquantifizierung für generative Modelle

Problemstellung

Jüngste Durchbrüche in der künstlichen Intelligenz, insbesondere bei unüberwachten generativen Modellen wie Large Language Models (LLMs) und Bildgeneratoren, haben das Feld weg vom traditionellen überwachten Lernen verschoben. Die Unsicherheitsquantifizierung (UQ) bleibt jedoch eine kritische Herausforderung für diese generativen Systeme und behindert deren Einsatz in hochriskanten Bereichen wie dem Gesundheitswesen und der wissenschaftlichen Entdeckung.

Während Konforme Vorhersage (CP) und Konforme Risikokontrolle (CRC) rigorose, verteilungsfreie Rahmenwerke für die UQ im überwachten Lernen bieten, sind sie nicht direkt mit generativen Aufgaben kompatibel. Bestehende Versuche, konforme Ideen auf generative Modelle anzuwenden, sind oft stark aufgabenspezifisch, beruhen auf einschränkenden Annahmen (wie der strikten Monotonie von Nutzenfunktionen) und beschränken sich auf mengenbasierte Ausgaben. Darüber hinaus erfordern aktuelle Implementierungen häufig Grundwahrheits-Labels und aufrufbare Nutzenfunktionen, die in offenen generativen Szenarien nicht immer verfügbar sind.

Methodik: Conf-Gen-Rahmenwerk

Die Autoren schlagen Conf-Gen (Conformal Generation) vor, ein allgemeines Rahmenwerk, das CRC an generative Aufgaben anpasst und dabei dessen theoretische Annahmen lockert. Conf-Gen vereint frühere aufgabenspezifische Versuche und erweitert die konforme Methodik auf neue Domänen, einschließlich Sequenzen und strukturierter Ausgaben über einfache Mengen hinaus.

Kernkomponenten

Das Rahmenwerk arbeitet mit einem Kalibrierungsdatensatz $G_{:n} = \{(X^{(i)}, Y^{(i)}, Y^{(i)}_{GT})\}_{i=1}^n$ , wobei $X$ die Eingabe, $Y$ eine Sequenz von Generierungen und $Y_{GT}$ eine optionale Grundwahrheit ist. Es besteht aus drei Hauptkomponenten:

Selektionsfunktionen ( $C_\lambda$ ): Eine Familie potenziell stochastischer Funktionen $C_\lambda: \mathcal{X} \times \mathcal{Y}^* \to \mathcal{S}$ , indiziert durch einen Parameter $\lambda$ . Im Gegensatz zur traditionellen CP, die Mengen ausgibt, kann $\mathcal{S}$ aus Sequenzen ( $\mathcal{Y}^*$ ) oder anderen strukturierten Ausgaben bestehen. Intuitiv erzeugen größere $\lambda$ -Werte konservativere Ausgaben (z. B. kürzere Sequenzen oder strengere Teilmengen), die eine höhere Zulässigkeit erreichen.
Zulässigkeitsfunktion ( $A$ ): Eine Funktion $A: \mathcal{X} \times \mathcal{S} \times \mathcal{Y}_{GT} \to [0, \infty)$ , die die Nutzenfunktion in CRC verallgemeinert. Sie misst die Qualität der ausgewählten Ausgabe. Entscheidend ist, dass $A$ keine aufrufbare Funktion sein muss; sie kann durch menschliche Bewertung oder Verfahren definiert werden, bei denen die Grundwahrheit nicht definiert ist.
Kalibrierung: Die Methode findet einen Schwellenwert $\hat{\lambda}$ , sodass die durchschnittliche Zulässigkeit im Kalibrierungsdatensatz ein Ziel $\gamma$ erreicht. Formal gilt: $\hat{\lambda} = \inf \{ \lambda \in \Lambda : \bar{A}_n(\lambda) \ge \frac{n+1}{n}\gamma \}$ .

Theoretische Beiträge

Conf-Gen führt eine $\gamma$ -sensible Instanzdefinition ein, die die Annahmen von CRC lockert:

Gelockerte Monotonie: Anstatt zu verlangen, dass die Zulässigkeitsfunktion fast sicher nichtfallend ist (eine strenge Anforderung in CRC), verlangt Conf-Gen nur, dass die Abbildung $\lambda \mapsto \mathbb{E}[A^{(n+1)}(\lambda) \mid \hat{\lambda}, \lambda^*]$ im bedingten Erwartungswert nichtfallend ist. Dies ermöglicht Szenarien, in denen die Beziehung zwischen $\lambda$ und Zulässigkeit in jeder Realisierung nicht strikt monoton ist, aber im Erwartungswert gilt.
Verallgemeinerte Ausgabemengen: Das Rahmenwerk unterstützt Ausgaben über Mengen hinaus (z. B. Sequenzen) und ermöglicht Anwendungen wie die Auswahl einer Teilsequenz von Antworten oder einer Teilmenge von Aktionen.
Keine Grundwahrheitsanforderung: Das Rahmenwerk erfordert nicht strikt eine wohldefinierte Grundwahrheit $Y_{GT}$ für jede Instanz und passt sich offenen Aufgaben an, bei denen die Zulässigkeit durch menschliche Bewertung oder semantische Konsistenz bestimmt wird.

Recheneffizienz

Die Arbeit identifiziert Entwurfsmuster, um Conf-Gen rechnerisch handhabbar zu machen:

Bewertungsbasierte Selektion: Durch die Definition von $C_\lambda$ basierend auf Bewertungen, die einzelnen Elementen zugewiesen werden (z. B. Auswahl von Elementen, bei denen $S_\downarrow(x, y_t) \le \lambda$ ), wird das Bild der Selektionsfunktion endlich, was eine effiziente Kalibrierung auch bei unendlichem $\Lambda$ ermöglicht.
Instanzebene Dekomposition: Wenn die Zulässigkeitsfunktion in eine Aggregation von Instanzebenen-Bewertungen zerlegt werden kann (z. B. $A = \text{agg}(A'_1, \dots, A'_T)$ ), kann die Kalibrierung durchgeführt werden, indem $A'$ einmal auf alle generierten Elemente angewendet wird, wodurch die Bewertung von der Wahl von $\lambda$ entkoppelt wird.
Partielle Generierung: In vielen Fällen kann das System die Generierung einer Sequenz frühzeitig stoppen, sobald die Selektionskriterien erfüllt sind, was Rechenressourcen spart.

Hauptbeiträge

Rahmenwerk: Vorschlag von Conf-Gen, einem rigorosen UQ-Rahmenwerk für generative Modelle, das CRC auf Sequenzen und strukturierte Ausgaben verallgemeinert.
Theorie: Lockerung der Monotonieannahme von CRC von einer fast sicheren Bedingung zu einer Bedingung des bedingten Erwartungswerts, was die Anwendbarkeit auf Aufgaben erweitert, bei denen strikte Monotonie nicht gilt.
Software: Bereitstellung eines flexiblen Python-Pakets (conf-gen), das eine effiziente Kalibrierung und Inferenz über verschiedene Konfigurationen hinweg unterstützt.
Empirische Validierung: Demonstration der Vielseitigkeit des Rahmenwerks bei neuen Aufgaben, wobei es State-of-the-Art-Baselines bei der Beantwortung von Fragen durch LLMs übertrifft und die ersten konformen Garantien für mehrere neue Anwendungsbereiche etabliert.

Experimentelle Ergebnisse

Die Autoren validieren Conf-Gen an vielfältigen Aufgaben und zeigen, dass es konforme Garantien erfüllt (empirische Zulässigkeit $\ge \gamma$ ), während es gleichzeitig einen praktischen Nutzen bewahrt (kürzere Sequenzen oder qualitativ hochwertigere Ausgaben im Vergleich zu Baselines).

Offene Fragebeantwortung: Auf dem TriviaQA-Datensatz erzeugt Conf-Gen kürzere Antwortsequenzen als die Baseline (Quach et al., 2024), während dieselbe Abdeckungsgarantie aufrechterhalten wird, was die Anzahl der erforderlichen LLM-Aufrufe reduziert.
Nicht-memorisierte Bildgenerierung: Angewendet auf Stable Diffusion wählt Conf-Gen Bilder aus, die von menschlichen Evaluatoren als „nicht memorisiert" (d. h. keine Kopien von Trainingsdaten) mit einer garantierten Wahrscheinlichkeit $\gamma$ verifiziert werden. Dies adressiert Urheberrechtsrisiken im Zusammenhang mit generativen Modellen.
Konversationelle KI: Das Rahmenwerk stellt sicher, dass ein Chatbot genügend Klärungsfragen stellt, um Mehrdeutigkeiten zu lösen, bevor er antwortet. Die Ergebnisse zeigen einen Kompromiss, bei dem ein höheres $\gamma$ zu mehr Klärungen führt, das System jedoch nicht standardmäßig die maximal mögliche Anzahl an Fragen stellt.
Agenten-KI: Für webbasierte Aufgaben (WebVoyager-Datensatz) garantiert Conf-Gen, dass eine ausgewählte Sequenz von Agenten-Trajektorien mit einer Wahrscheinlichkeit von $\gamma$ mindestens eine erfolgreiche Lösung enthält.
Random Forests: Das Rahmenwerk wird auf überwachte Lernverfahren angewendet, indem eine Teilmenge von Bäumen aus einem Random Forest ausgewählt wird, die eine Mindestanzahl korrekter Vorhersagen garantiert, was die Allgemeingültigkeit der Methode jenseits generativer Modelle demonstriert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Conf-Gen einen bedeutenden Schritt hin zu einer verbesserten Unsicherheitsquantifizierung in generativen Modellen darstellt. Durch die Lockerung der theoretischen Annahmen von CRC ermöglicht es die Anwendung konformer Garantien auf eine breitere Palette generativer Aufgaben, einschließlich solcher ohne Grundwahrheit oder strikte Monotonie.

Die Autoren betonen, dass ihre Arbeit eine Grundlage für neuartige konforme Anwendungen schafft, wie etwa die Sicherstellung, dass generierte Bilder nicht memorisiert sind, und die Verifizierung, dass KI-Agenten ausreichend Klärungsfragen gestellt haben. Sie gehen davon aus, dass diese Verbesserungen die Zuverlässigkeit von KI-Systemen erhöhen und deren Einsatz in sicherheitskritischen Anwendungen erleichtern könnten. Die Arbeit behält einen bescheidenen Ton hinsichtlich der gesellschaftlichen Auswirkungen bei und erkennt an, dass UQ zwar die Zuverlässigkeit verbessern, aber potenziell auch bösartige Anwendungen verstärken könnte, wobei die Nettoauswirkung jedoch positiv erwartet wird.

Die Arbeit beansprucht nicht, alle UQ-Herausforderungen zu lösen, sondern bietet ein flexibles, theoretisch fundiertes Rahmenwerk, das bestehende Ansätze vereint und neue Wege für eine rigorose Unsicherheitskontrolle im Zeitalter der generativen KI eröffnet.