🤖 machine learning

Conf-Gen: Conformal Uncertainty Quantification for Generative Models

Dit artikel introduceert Conf-Gen, een algemeen raamwerk dat conformale risicobeperking aanpast aan onbewaakte generatieve modellen zoals LLM's en beeldgeneratoren, waardoor formele onzekerheidsgaranties worden geboden voor uiteenlopende taken zoals het verifiëren van niet-geheugenopgeslagen beeldgeneratie, conversatiehelderheid en agentcorrectheid.

Oorspronkelijke auteurs: Gabriel Loaiza-Ganem, Kevin Zhang, Wei Cui, Marc T. Law, Kin Kwan Leung

Gepubliceerd 2026-05-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gabriel Loaiza-Ganem, Kevin Zhang, Wei Cui, Marc T. Law, Kin Kwan Leung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms overmoedige vriend hebt die graag ideeën bedenkt, verhalen schrijft of tekeningen maakt. Soms zijn ze briljant, maar op andere momenten kunnen ze dingen verzinnen, oude grappen herhalen of vastlopen in een lus. Je wilt hen vertrouwen, maar je hebt een manier nodig om te weten: "Is deze specifieke output echt goed, of moet ik me zorgen maken?"

Dit is het probleem dat het artikel Conf-Gen probeert op te lossen. Het introduceert een nieuw "kwaliteitscontrolesysteem" voor AI-generatoren (zoals beeldcreators of chatbots) dat je een wiskundige garantie biedt over de kwaliteit van de output, zonder dat je precies hoeft te weten hoe de AI denkt.

Hieronder wordt uitgelegd hoe het werkt, opgesplitst met eenvoudige analogieën:

1. Het Probleem: De "Black Box" Generator

Traditionele AI-veiligheidstools werken goed voor eenvoudige taken (zoals "Is deze e-mail spam?"). Maar moderne AI-generatoren zijn anders. Ze kiezen niet gewoon één antwoord; ze creëren een hele stroom van mogelijkheden (een reeks woorden, een reeks afbeeldingen of een keten van acties).

Het Probleem: Als je een AI vraagt een afbeelding te tekenen, hoe weet je dan dat het niet zomaar een auteursrechtelijk beschermd beeld uit zijn trainingsdata heeft gekopieerd? Als je een chatbot een vraag stelt, hoe weet je dan dat het niet gewoon heeft geraden?
De Oude Manier: Vorige methoden probeerden deze complexe generators in simpele hokjes te dwingen, wat vaak faalde of vereiste dat de AI zeer specifiek was over wat het deed.

2. De Oplossing: De "Conf-Gen" Filter

De auteurs stellen Conf-Gen (Conformal Generation) voor. Denk hierbij aan een slim zeefje of een kwaliteitsfilter dat tussen de AI en jou in zit.

Hier is het stap-voor-stap proces:

Stap A: Het "Kalibratiefeest" (De Regels Leren)

Voordat de AI zijn echte werk begint, laat je het een hoop voorbeelden zien (een "kalibratiedataset").

De Analogie: Stel je voor dat je een nieuwe beveiliger traint. Je laat hen 100 foto's zien van "goede" en "slechte" mensen. Je leert hen niet waarom iemand slecht is; je laat ze gewoon het patroon zien.
Wat Conf-Gen doet: Het bekijkt deze voorbeelden en berekent een "drempel" (laten we het de Veiligheidsniveau noemen). Het vraagt zich af: "Hoe streng moet ik zijn om ervoor te zorgen dat 90% van de tijd de output die ik doorlaat, echt goed is?"

Stap B: Het "Scorebord" (Vertrouwen Meten)

De AI genereert een lijst met potentiële antwoorden of afbeeldingen. Conf-Gen kijkt niet alleen naar het eindresultaat; het kijkt naar een score voor elk item.

De Analogie: Stel je voor dat de AI een chef-kok is die 10 verschillende soepen maakt. Conf-Gen is een proever die elke soep een score geeft op basis van hoe "veilig" of "correct" het eruit ziet.
De Magie: Het systeem kan omgaan met verschillende soorten scores. Voor een chatbot kan de score zijn "hoe duidelijk is de vraag?". Voor een beeldgenerator kan de score zijn "lijkt dit op een kopie van een echte foto?".

Stap C: De "Afsnijding" (De Garantie Toepassen)

Zodra de AI een reeks genereert, past Conf-Gen het Veiligheidsniveau toe dat het in Stap A heeft geleerd.

De Analogie: Stel je voor dat het een bouncer is bij een club. Als het "Veiligheidsniveau" op 90% staat, laat de bouncer alleen gasten binnen die hoog genoeg scoren.
Het Resultaat: Het systeem kan zeggen: "Ik laat je alleen de eerste 3 antwoorden zien die de AI gaf, want daarna daalt het vertrouwen." Of: "Ik laat je alleen de afbeelding zien die zeker geen kopie is."

De Garantie: Het artikel bewijst wiskundig dat als je deze regels volgt, je 90% zeker (of welk getal je ook kiest) kunt zijn dat de output die je ontvangt aan je kwaliteitsstandaard voldoet. Het is geen gok; het is een formele belofte.

3. Wat Maakt Dit Speciaal? (De "Ontspannen" Regels)

Vorige methoden waren zeer star. Ze vereisten dat de AI zich op een zeer specifieke, voorspelbare manier gedroeg (zoals een rechte lijn).

De Innovatie van Conf-Gen: Het is veel flexibeler. Het beseft dat AI niet altijd in een rechte lijn beweegt. Soms kan het " specifieker" maken van een prompt per ongeluk de afbeelding slechter maken (minder veilig).
De Analogie: Oude methoden waren als een trein op een spoor; hij moest rechtdoor gaan. Conf-Gen is als een wandelaar met een kaart. De wandelaar kan omhoog, omlaag of zijwaarts gaan, zolang ze maar uiteindelijk de "veilige zone" bereiken. Conf-Gen kan deze bochten en wendingen aan en geeft je toch de garantie.

4. Wereldwijde Voorbeelden uit het Artikel

De auteurs hebben dit getest op verschillende "nieuwe" taken om te laten hoe flexibel het is:

De "Anti-Plagiaat" Kunstenaar: Ze gebruikten het op een beeldgenerator (Stable Diffusion). Het doel was ervoor te zorgen dat de AI niet zomaar een beroemd schilderij kopieerde. Conf-Gen fungeerde als een filter, zodat de getoonde afbeeldingen met groot vertrouwen "niet-geheugen" (origineel) waren.
De "Verhelderende" Chatbot: Ze gebruikten het op een conversatie-AI. Het doel was ervoor te zorgen dat de bot genoeg vervolgvragen stelde voordat hij antwoordde. Conf-Gen garandeerde dat de bot niet zomaar een antwoord zou raden op een vaag vraag; het zou blijven vragen tot de vraag duidelijk genoeg was.
De "Agent" Planner: Ze gebruikten het op een AI-agent die probeerde een hotel te boeken of een paper online te vinden. Conf-Gen zorgde ervoor dat het plan van de AI een hoge kans had om daadwerkelijk te werken voordat de gebruiker het probeerde.
De "Boom" Selecteur: Ze gebruikten het zelfs op een klassieke Random Forest (een type oudere AI). In plaats van alle 100 bomen in het bos te gebruiken, selecteerde Conf-Gen de kleinste groep bomen die nodig was om een correct antwoord te garanderen, waardoor computerkracht werd bespaard.

Samenvatting

Conf-Gen is een nieuwe toolkit die je in staat stelt een "veiligheidsnet" onder elke generatieve AI te leggen.

Het hoeft niet te weten hoe de AI werkt.
Het hoeft niet dat de AI perfect is.
Het heeft alleen een manier nodig om de output te scoren.

Door deze methode te gebruiken, kun je tegen je AI zeggen: "Het maakt me niet uit hoe je tot het antwoord komt, maar ik beloof dat 95% van de tijd het antwoord dat je mij geeft correct (of veilig, of origineel) zal zijn." Dit maakt het mogelijk om krachtige, creatieve AI te gebruiken in situaties met hoge inzet waar je het je niet kunt veroorloven om fout te zijn.

Technische Samenvatting: Conf-Gen: Conformale Onzekerheidskwantificatie voor Generatieve Modellen

Probleemstelling

Recente doorbraken in kunstmatige intelligentie, met name in onbewaakte generatieve modellen zoals Large Language Models (LLM's) en beeldgeneratoren, hebben het landschap verschoven weg van traditioneel toezicht op leren. Onzekerheidskwantificatie (UQ) blijft echter een kritieke uitdaging voor deze generatieve systemen, wat hun inzet in hoog-risicodomeinen zoals gezondheidszorg en wetenschappelijke ontdekking belemmert.

Hoewel Conformale Voorspelling (CP) en Conformale Risicobeheersing (CRC) rigoureuze, verdelingsvrije kaders bieden voor UQ in toezicht op leren, zijn ze niet direct compatibel met generatieve taken. Bestaande pogingen om conformale ideeën toe te passen op generatieve modellen zijn vaak zeer taakspecifiek, vertrouwen op restrictieve aannames (zoals strikte monotonie van nuttigheidsfuncties) en zijn beperkt tot outputs in de vorm van verzamelingen. Bovendien vereisen huidige implementaties vaak ground truth-labels en aanroepbare nuttigheidsfuncties, die niet altijd beschikbaar zijn in open-ended generatieve scenario's.

Methodologie: Conf-Gen Kader

De auteurs stellen Conf-Gen (Conformale Generatie) voor, een algemeen kader dat CRC aanpast aan generatieve taken terwijl het de theoretische aannames versoepelt. Conf-Gen verenigt eerdere taakspecifieke pogingen en breidt de conformale methodologie uit naar nieuwe domeinen, waaronder sequenties en gestructureerde outputs die verder gaan dan eenvoudige verzamelingen.

Kerncomponenten

Het kader werkt met een kalibratiedataset $G_{:n} = \{(X^{(i)}, Y^{(i)}, Y^{(i)}_{GT})\}_{i=1}^n$ , waarbij $X$ de input is, $Y$ een reeks generaties is en $Y_{GT}$ optionele ground truth is. Het bestaat uit drie hoofdcomponenten:

Selectiefuncties ( $C_\lambda$ ): Een familie van potentieel stochastische functies $C_\lambda: \mathcal{X} \times \mathcal{Y}^* \to \mathcal{S}$ , geïndexeerd door een parameter $\lambda$ . In tegenstelling tot traditionele CP die verzamelingen output, kan $\mathcal{S}$ sequenties ( $\mathcal{Y}^*$ ) of andere gestructureerde outputs zijn. Intuïtief produceren grotere $\lambda$ -waarden conservatievere outputs (bijvoorbeeld kortere sequenties of strengere deelverzamelingen) die een hogere toelaatbaarheid bereiken.
Toelaatbaarheidsfunctie ( $A$ ): Een functie $A: \mathcal{X} \times \mathcal{S} \times \mathcal{Y}_{GT} \to [0, \infty)$ die de nuttigheidsfunctie in CRC generaliseert. Het meet de kwaliteit van de geselecteerde output. Cruciaal is dat $A$ geen aanroepbare functie hoeft te zijn; het kan worden gedefinieerd door menselijke evaluatie of procedures waarbij ground truth niet gedefinieerd is.
Kalibratie: De methode vindt een drempelwaarde $\hat{\lambda}$ zodat de gemiddelde toelaatbaarheid op de kalibratiedataset een doel $\gamma$ bereikt. Formeel: $\hat{\lambda} = \inf \{ \lambda \in \Lambda : \bar{A}_n(\lambda) \ge \frac{n+1}{n}\gamma \}$ .

Theoretische Bijdragen

Conf-Gen introduceert een definitie van een $\gamma$ -zinnig instance die de aannames van CRC versoepelt:

Versoepelde Monotonie: In plaats van te vereisen dat de toelaatbaarheidsfunctie bijna zeker niet-dalend is (een strikte vereiste in CRC), vereist Conf-Gen alleen dat de afbeelding $\lambda \mapsto \mathbb{E}[A^{(n+1)}(\lambda) \mid \hat{\lambda}, \lambda^*]$ niet-dalend is in conditionele verwachting. Dit maakt scenario's mogelijk waarbij de relatie tussen $\lambda$ en toelaatbaarheid niet strikt monotoon is in elke realisatie, maar wel geldt in verwachting.
Generaliseerde Outputruimtes: Het kader ondersteunt outputs die verder gaan dan verzamelingen (bijvoorbeeld sequenties), waardoor toepassingen mogelijk worden zoals het selecteren van een deelsequentie van antwoorden of een deelverzameling van acties.
Geen Ground Truth Vereiste: Het kader vereist niet strikt een goed gedefinieerde ground truth $Y_{GT}$ voor elke instance, wat open-ended taken mogelijk maakt waarbij toelaatbaarheid wordt bepaald door menselijke evaluatie of semantische consistentie.

Berekenings-efficiëntie

Het artikel identificeert ontwerppatronen om Conf-Gen berekenbaar te maken:

Score-gebaseerde Selectie: Door $C_\lambda$ te definiëren op basis van scores die aan individuele elementen worden toegewezen (bijvoorbeeld het selecteren van elementen waarvoor $S_\downarrow(x, y_t) \le \lambda$ ), wordt het beeld van de selectiefunctie eindig, wat efficiënte kalibratie mogelijk maakt zelfs met oneindige $\Lambda$ .
Instance-niveau Decompositie: Als de toelaatbaarheidsfunctie kan worden ontbonden in een aggregatie van instance-niveau scores (bijvoorbeeld $A = \text{agg}(A'_1, \dots, A'_T)$ ), kan kalibratie worden uitgevoerd door $A'$ eenmaal op alle gegenereerde elementen te evalueren, waardoor de evaluatie wordt ontkoppeld van de keuze van $\lambda$ .
Partiële Generatie: In veel gevallen kan het systeem stoppen met het genereren van een sequentie zodra de selectiecriteria zijn voldaan, wat rekenkracht bespaart.

Belangrijkste Bijdragen

Kader: Stelt Conf-Gen voor, een rigoureus UQ-kader voor generatieve modellen dat CRC generaliseert tot sequenties en gestructureerde outputs.
Theorie: Versoepelt de monotonie-aanname van CRC van een bijna-zekere voorwaarde naar een voorwaarde voor conditionele verwachting, waardoor de toepasbaarheid wordt verbreed naar taken waar strikte monotonie niet geldt.
Software: Biedt een flexibel Python-pakket (conf-gen) dat efficiënte kalibratie en inferentie ondersteunt in verschillende configuraties.
Empirische Validatie: Demonstreert de veelzijdigheid van het kader over nieuwe taken, waarbij het state-of-the-art baselines overtreft in LLM-vraagbeantwoording en de eerste conformale garanties vestigt voor meerdere nieuwe toepassingsdomeinen.

Experimentele Resultaten

De auteurs valideren Conf-Gen op diverse taken, waarbij blijkt dat het conformale garanties voldoet (empirische toelaatbaarheid $\ge \gamma$ ) terwijl het praktische bruikbaarheid behoudt (kortere sequenties of hogekwaliteitsoutputs in vergelijking met baselines).

Open-domein Vraagbeantwoording: Op de TriviaQA-dataset produceert Conf-Gen kortere antwoordsequenties dan de baseline (Quach et al., 2024) terwijl dezelfde dekkinggarantie wordt behouden, wat het aantal vereiste LLM-aanroepen reduceert.
Niet-geheugenopgeslagen Beeldgeneratie: Toegepast op Stable Diffusion, selecteert Conf-Gen afbeeldingen die door menselijke beoordelaars worden geverifieerd als "niet-geheugenopgeslagen" (d.w.z. geen kopieën van trainingsdata) met een gegarandeerde waarschijnlijkheid $\gamma$ . Dit adresseert auteursrechtelijke risico's die geassocieerd zijn met generatieve modellen.
Conversational AI: Het kader zorgt ervoor dat een chatbot voldoende verhelderende vragen stelt om ambiguïteit op te lossen voordat het antwoordt. De resultaten tonen een afweging waarbij een hogere $\gamma$ leidt tot meer verduidelijkingen, maar het systeem niet standaard het maximale mogelijke aantal vraagt.
Agentic AI: Voor webgebaseerde taken (WebVoyager-dataset) garandeert Conf-Gen dat een geselecteerde reeks agenttrajecten met waarschijnlijkheid $\gamma$ ten minste één succesvolle oplossing bevat.
Random Forests: Het kader wordt toegepast op toezicht op leren door een deelverzameling van bomen uit een random forest te selecteren die een minimum aantal correcte voorspellingen garandeert, wat de generaliteit van de methode buiten generatieve modellen demonstreert.

Betekenis en Beweringen

Het artikel beweert dat Conf-Gen een belangrijke stap voorwaarts is naar verbeterde onzekerheidskwantificatie in generatieve modellen. Door de theoretische aannames van CRC te versoepelen, maakt het de toepassing van conformale garanties mogelijk op een breder scala aan generatieve taken, inclusief die zonder ground truth of strikte monotonie.

De auteurs benadrukken dat hun werk een fundament legt voor nieuwe conformale toepassingen, zoals het waarborgen dat gegenereerde afbeeldingen niet uit het geheugen worden opgehaald en verifiëren dat AI-agenten voldoende verhelderende vragen hebben gesteld. Zij stellen dat deze verbeteringen de betrouwbaarheid van AI-systemen kunnen vergroten, wat hun inzet in veiligheidskritieke toepassingen faciliteert. Het artikel behoudt een bescheiden toon met betrekking tot maatschappelijke impact, waarbij wordt erkend dat UQ de betrouwbaarheid kan verbeteren, maar ook potentieel kwaadaardige toepassingen kan versterken, hoewel de netto-impact naar verwachting positief zal zijn.

Het werk claimt niet alle UQ-uitdagingen op te lossen, maar biedt eerder een flexibel, theoretisch onderbouwd kader dat bestaande benaderingen verenigt en nieuwe wegen opent voor rigoureuze onzekerheidsbeheersing in het tijdperk van generatieve AI.