🤖 machine learning

Towards a theory of inference-time alignment with unknown rewards

Dit artikel vestigt een PAC-leerframework voor alignment tijdens de inferentiefase onder onbekende beloningen door een nieuwe "alignment-dimensie" te definiëren die leerbaarheid volledig karakteriseert en een op toernooien gebaseerd algoritme voor te stellen met behulp van de one-inclusion graph om een zwak referentiebeleid te transformeren naar een sterke leerling.

Oorspronkelijke auteurs: Steve Hanneke, Hongao Wang, Mingyue Xu

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Steve Hanneke, Hongao Wang, Mingyue Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie is een centrale uitdaging het waarborgen dat computerprogramma's zich op een manier gedragen die overeenkomt met menselijke intenties. Hoewel moderne systemen vloeiende tekst kunnen genereren en complexe problemen kunnen oplossen, produceren ze soms outputs die onzinnig, schadelijk of simpelweg niet behulpzaam zijn. Om dit op te lossen, hebben onderzoekers methoden ontwikkeld om deze modellen te "alignen" (af te stemmen) met menselijke waarden. Eén veelvoorkomende aanpak houdt in dat het model wordt getraind op enorme hoeveelheden data waarbij mensen of andere AI's verschillende reacties hebben gerangschikt, waardoor het systeem leert de voorkeur te geven aan goede antwoorden boven slechte antwoorden. Een andere aanpak, bekend als inference-time alignment, verandert de interne code van het model niet. In plaats daarvan fungeert het als een filter op het moment van gebruik: het systeem genereert verschillende mogelijke antwoorden, en een apart scoremechanisme kiest het beste antwoord om aan de gebruiker te tonen. Deze methode is populair omdat het flexibel is en geen kostbaar proces van het volledig hertrainen van het systeem vereist. Hoewel deze technieken in de praktijk goed werken, hebben wetenschappers moeite gehad om precies uit te leggen waarom ze werken of wat hun succes beperkt vanuit een wiskundig standpunt.

Een team van onderzoekers aan de Purdue University heeft nu een belangrijke stap gezet om dit gat te vullen door een nieuw statistisch kader te bouwen om inference-time alignment te begrijpen. Ze benaderden het probleem als een leeropdracht waarbij een "zwak" startpunt wordt verbeterd naar een "sterk" resultaat met behulp van data. Stel je een referentiemodel voor dat over het algemeen bekwaam is maar af en toe fouten maakt; het dient als een basislijn die een lijst met kandidaat-antwoorden genereert. Het doel is om een dataset van menselijke voorkeuren te gebruiken om een nieuw systeem te leren hoe het elke keer betrouwbaar het enkel beste antwoord uit die lijst kan kiezen. De onderzoekers stelden een fundamentele vraag: onder welke omstandigheden is het daadwerkelijk mogelijk om deze selectievaardigheid te leren van data alleen, zonder voorafgaande kennis van hoe het scoresysteem werkt? Ze ontdekten dat het antwoord volledig afhangt van de complexiteit van de regels die de antwoorden beoordelen.

Het team ontdekte dat niet alle sets beoordelingsregels geleerd kunnen worden. Ze introduceerden een nieuwe manier om de complexiteit van deze regels te meten, die zij de "alignment dimension" noemen. Denk aan deze dimensie als een maatstaf voor hoeveel verschillende manieren de regels het systeem kunnen tegenspreken of verwarren. Als dit getal eindig is, wat betekent dat de regels een beheersbaar niveau van complexiteit hebben, dan is het mogelijk om een algoritme te ontwerpen dat uiteindelijk leert om het juiste antwoord met bijna perfecte nauwkeurigheid te kiezen, mits er voldoende data beschikbaar is. Als de dimensie oneindig is, zijn de regels te chaotisch om met data geleerd te worden, ongeacht hoeveel er verzameld wordt. Deze bevinding biedt een volledige wiskundige garantie: een beloningssysteem is leerbaar als en slechts als de alignment dimension eindig is. Dit is een significante verschuiving ten opzichte van eerdere theorieën, die vaak ervan uitgingen dat onderzoekers al een perfect begrip hadden van het scoresysteem of dat de regels eenvoudig genoeg waren om door een vast aantal parameters beschreven te worden.

Om dit te bewijzen, ontwierpen de onderzoekers een specifieke leerprocedure die werkt als een toernooi. Wanneer het systeem een antwoord moet kiezen, kijkt het niet simpelweg één keer naar de data en doet het een gok. In plaats daarvan vergelijkt het paren van mogelijke antwoordgroepen met elkaar. Voor elk paar groepen waarbij de ene niet duidelijk een deelverzameling is van de andere, voert het systeem een gespecialiseerd vergelijkingsalgoritme uit om te beslissen welke groep de kans heeft om het juiste antwoord te bevatten. Door deze vergelijkingen uit te voeren over alle mogelijke paren, verkleint het systeem het veld totdat het wordt overgelaten met een kleine, zeer betrouwbare set kandidaten waaruit het uiteindelijke antwoord wordt gekozen. Deze methode werkt door gebruik te maken van het feit dat het startmodel, hoewel imperfect, een constante kans heeft om een goed antwoord te genereren. Door voldoende kandidaten te bemonsteren en de toernooi-logica te gebruiken om de selectie te filteren, kan het systeem het succespercentage verhogen tot een willekeurig hoog niveau.

Het artikel verheldert ook wat deze nieuwe theorie uitsluit. Het laat zien dat het simpelweg proberen te memoriseren van de beste antwoorden uit een trainingsset, een methode die bekend staat als empirical risk minimization, op zichzelf niet voldoende is. In sommige gevallen moet een systeem vertrouwen op de specifieke structuur van de data en het vermogen om op het moment van testen nieuwe kandidaten te bemonsteren, in plaats van alleen maar te herinneren wat het tijdens de training heeft gezien. De onderzoekers hebben aangetoond dat voor bepaalde typen complexe beloningssystemen, geen enkele hoeveelheid trainingsdata een standaard leeralgoritme in staat zou stellen om te slagen zonder deze extra bemonsteringsstap. Hun werk suggereert dat de sleutel tot succesvolle alignment ligt in de wisselwerking tussen de complexiteit van de beloningsregels en het vermogen om op het moment van testen meerdere opties te genereren.

Dit onderzoek vertegenwoordigt een fundamentele stap naar een rigoureuze theorie van AI-alignment. Door de exacte voorwaarden te definiëren waaronder alignment mogelijk is, bieden de auteurs een duidelijk doel voor toekomstige ontwikkeling. Ze zijn voorbij gegaan aan trial-and-error en bieden een wiskundig bewijs dat ingenieurs precies vertelt wanneer hun alignment-strategieën zullen werken en wanneer ze zullen falen. Hoewel de huidige studie zich richt op binaire beloningen — waarbij een antwoord ofwel goed of slecht is — opent het kader de deur naar het begrijpen van complexere, reële scoresystemen. Het uiteindelijke doel is om een reeks principes vast te stellen die de creatie van veiligere en betrouwbaardere AI-systemen kunnen sturen, om ervoor te zorgen dat naarmate deze modellen krachtiger worden, hun vermogen om menselijke intenties te volgen wiskundig gegarandeerd blijft.

Technische Samenvatting: Naar een theorie van alignment tijdens de inferentiefase met onbekende beloningen

Probleemformulering
Dit werk behandelt de statistische leerfundamenten van alignment tijdens de inferentiefase (inference-time alignment), een paradigma waarbij de reacties van een generatief model worden geselecteerd of gestuurd tijdens de testfase op basis van een beloningssignaal, zonder de parameters van het model bij te werken (in tegenstelling tot Reinforcement Learning from Human/AI Feedback, RLHF). De auteurs formuleren dit als een weak-to-strong learning probleem onder de aanname van onbekende beloningen.

De setting omvat:

Referentiebeleid ( $\pi_{ref}$ ): Een "zwakke leerling" (bijv. een vooraf getraind of SFT-model) dat kandidaat-reacties genereert. Er wordt vanuit gegaan dat dit model een constante kans $\gamma$ heeft om een "goede" reactie (beloning $r^*(x, y) = 1$ ) te genereren voor elke input $x$ .
Beloningsklasse ( $\mathcal{R}$ ): Een verzameling binaire beloningsfuncties $r: \mathcal{X} \times \mathcal{Y} \to \{0, 1\}$ . De ware beloning $r^*$ is onbekend, maar maakt deel uit van $\mathcal{R}$ .
Datageneratie: De trainingsdata bestaat uit $m$ i.i.d. monsters. Elk monster bevat een input $x_i$ en een "slate" (lijst) van $k$ reacties $\{y_i^{(1)}, \dots, y_i^{(k)}\}$ getrokken uit $\pi_{ref}(\cdot|x_i)$ . De leerling observeert de verzameling indices van goede reacties $A_{r^*}(z_i) = \{j : r^*(x_i, y_i^{(j)}) = 1\}$ .
Doel: Ontwerp een leeralgoritme dat, gegeven een testinput $x$ en een lijst van $k$ kandidaten uit $\pi_{ref}$ , een index $j$ selecteert zodanig dat $r^*(x, y^{(j)}) = 1$ met een hoge waarschijnlijkheid ( $1-\epsilon$ ).

De auteurs onderscheiden hun werk van de bestaande theoretische literatuur door de aanname van toegang tot een vooraf geschatte beloningsmodellen te verwijderen. In plaats daarvan behandelen zij het probleem als leren vanaf nul, waarbij de beloningsfunctie zelf volledig uit eindige voorkeursdata moet worden afgeleid.

Methodologie en Kernconcepten
Het artikel introduceert een nieuwe combinatorische dimensie om de leerbaarheid van de beloningsklasse te karakteriseren:

Alignment-dimensie ( $d_{ALN}(\mathcal{R})$ ):
Een verzameling inputs $\{x_1, \dots, x_d\}$ is alignment-shattered door $\mathcal{R}$ als er paren reacties $(y_i^{(0)}, y_i^{(1)})$ bestaan zodanig dat voor elke binaire vector $b \in \{0, 1\}^d$ , er een beloningsfunctie $r_b \in \mathcal{R}$ bestaat die voldoet aan $r_b(x_i, y_i^{(b_i)}) = 1$ en $r_b(x_i, y_i^{(1-b_i)}) = 0$ . De alignment-dimensie is de grootte van de grootste dergelijke geshatterde verzameling.
Niet-dominante Natarajan-dimensie:
Om leerbaarheid te bewijzen, relateren de auteurs het probleem aan het One-Inclusion Graph (OIG) algoritme dat wordt gebruikt voor partiële conceptklassen. Zij definiëren een "niet-dominante Natarajan-dimensie" voor de geïnduceerde verzameling van set-waardige acceptatieklassen. Zij bewijzen dat deze dimensie begrensd wordt door de alignment-dimensie.
Leeralgoritme (Toernooi over niet-dominante paren):
De voorgestelde leerprocedure is transductief en werkt tijdens de inferentiefase:

Voor een test-slate $Z$ beschouwt het algoritme alle paren van niet-lege deelverzamelingen van indices $(A, B)$ waarvoor geldt dat de ene geen deelverzameling van de andere is ( $A \not\subseteq B$ en $B \not\subseteq A$ ).
Voor elk paar construeert het een trainingssubset die instanties bevat waar de ware acceptatieset ofwel $A$ ofwel $B$ was.
Het voert het OIG-algoritme uit op deze subset om te voorspellen of de ware acceptatieset $A$ of $B$ is.
Dit proces vormt een "toernooi" dat de mogelijke acceptatiesets verkleint tot een keten. De uiteindelijke voorspelling is een willekeurige reactie-index die deel uitmaakt van de doorsnede van de overgebleven verzamelingen.

Belangrijkste Resultaten
Het artikel stelt een volledige karakterisering vast van alignment-leerbaarheid:

Stelling 1: Een beloningsklasse $\mathcal{R}$ $R$ is alignment-leerbaar dan en slechts dan als de alignment-dimensie $d_{ALN}(\mathcal{R})$ $d_{A L N} (R)$ eindig is.
- Bovengrens (Stelling 2): Als $d_{ALN}(\mathcal{R}) < \infty$ , bereikt het voorgestelde toernooi-algoritme $(\epsilon, \delta)$ -leerbaarheid met een steekproefomvang $m$ en een inferentie-fase lijst-grootte $k$ die eindige functies zijn van de dimensie, $\epsilon$ , $\delta$ , en $\gamma$ .
- Ondergrens (Stelling 3): Als $d_{ALN}(\mathcal{R}) = \infty$ , kan geen enkel leeralgoritme alignment-leerbaarheid bereiken met eindige steekproeven. Het bewijs construeert een moeilijk exemplaar met behulp van de probabilistische methode, waarbij wordt aangetoond dat een oneindige dimensionaliteit de aanwezigheid van distributies impliceert waarbij de leerling de ware beloningsfunctie niet kan onderscheiden.

Betekenis en Claims
De auteurs positioneren dit werk als een pioniersstap naar een rigoureuze statistische leertheorie voor algemene alignment-problemen. Belangrijke claims met betrekking tot de bijdrage van het artikel zijn:

Nieuw Raamwerk: Dit is het eerste werk dat inference-time alignment formuleert als een statistisch leerprobleem waarbij de beloning onbekend is en volledig uit data wordt geleerd, wat het onderscheidt van eerdere werken die toegang tot een goede schatting van de beloning veronderstellen.
Theoretische Karakterisering: De introductie van de alignment-dimensie biedt een noodzakelijke en voldoende voorwaarde voor leerbaarheid, analoog aan de VC-dimensie in binaire classificatie, maar specifiek afgestemd op de unieke beperkingen van het selecteren van één goede reactie uit meerdere kandidaten.
Onderscheid van Bestaande Paradigma's: De auteurs verduidelijken dat hun setting verschilt van multiclass learning (waarbij één label correct is) en list learning (waarbij een lijst met labels wordt gegenereerd). In hun setting kunnen meerdere reacties correct zijn, maar moet de leerling er één succesvol identificeren.
Bescheidenheid over de Omvang: De auteurs erkennen beperkingen en merken op dat hun huidige formulering binaire beloningen en realizable settings veronderstelt. Zij stellen expliciet dat hun leerprocedure niet-standaard is (afhankelijk van test-time computation en tuple-ordening aannames) en dat het uitbreiden van de theorie naar training met enkele reacties, reële beloningen, of voorkeursgebaseerd leren (Bradley-Terry modellen) een openstaande richting is voor toekomstig werk.

Het artikel concludeert dat het vaststellen van de alignment-dimensie als de fundamentele complexiteitsmaatstaf een theoretische basis biedt voor het begrijpen van wanneer en hoe alignment tijdens de inferentiefase mogelijk is, wat potentieel kan leiden tot de ontwikkeling van meer systematische principes voor praktische alignment.

Technische Samenvatting: Naar een theorie van alignment tijdens de inferentiefase met onbekende beloningen

Meer zoals dit