💬 NLP

CoAct: Co-Active LLM Preference Learning with Human-AI Synergy

Het paper introduceert CoAct, een nieuw kader dat zelfbeloning en actief leren combineert via mens-AI-synergie om LLM's effectiever te aligneren met beperkte menselijke feedback, wat leidt tot aanzienlijke prestatieverbeteringen op diverse redeneerbenchmarks.

Oorspronkelijke auteurs: Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nog wat onervaren robot wilt leren om moeilijke wiskundepuzzels op te lossen. Je hebt twee opties om hem te trainen:

De "Alleen maar zelf" methode: De robot leest een vraag, bedenkt zelf een antwoord, en zegt dan: "Ik denk dat dit goed is." Het probleem hier is dat als de robot een fout maakt, hij die fout vaak blijft herhalen en zelfs versterkt. Het is alsof iemand die slecht kan tekenen, zichzelf elke dag een slechte tekening laat zien en denkt: "Ja, dit is hoe het moet."
De "Alleen maar mens" methode: Je vraagt een echte mens (een expert) om elke vraag te controleren. Dit is heel betrouwbaar, maar het kost enorm veel tijd en geld. Je kunt niet elke vraag laten controleren door een mens, dus veel van de vragen die de robot wel zou kunnen oplossen, blijven ongebruikt.

COACT is een nieuwe, slimme manier om deze twee methoden te combineren. Het is als een perfecte samenwerking tussen een robot en een mens.

Hier is hoe het werkt, in simpele bewoordingen:

1. De "Zelfvertrouwens-test" (Self-Consistency)

In plaats van dat de robot één antwoord bedenkt, laat COACT de robot acht keer dezelfde vraag beantwoorden.

Als de robot acht keer bijna hetzelfde antwoord geeft, is hij waarschijnlijk op de goede weg. Dit noemen we hoge consistentie.
Als de antwoorden allemaal verschillend zijn, is de robot in de war. Dit is lage consistentie.

2. De Slimme Verdeling (De "Strategische" Deling)

Nu komt het slimme deel. COACT kijkt naar de antwoorden en verdeelt ze in twee bakken:

Bak A (De Zekere): De vragen waarbij de robot al acht keer hetzelfde antwoord gaf.
- Wat doen we hiermee? Omdat de robot hier al zo zeker van lijkt, gebruiken we deze antwoorden zonder een mens te vragen. We vertrouwen de robot hier op. Dit bespaart enorm veel tijd.
Bak B (De Twijfelachtige): De vragen waarbij de robot in de war was, OF vragen waarbij hij wel consistent leek, maar misschien toch een slimme fout maakte (zoals een fout die hij consequent blijft maken).
- Wat doen we hiermee? Deze vragen sturen we naar de menselijke expert (of een supersterke AI als "oracle"). De mens kijkt er naar en zegt: "Ja, dit is goed" of "Nee, dit is fout."

3. De "Leraar die ook leert" (Oracle Feedback)

Dit is het meest creatieve stukje. De menselijke expert doet niet alleen maar controleerwerk.

Als de expert een goed voorbeeld heeft gecontroleerd, gebruikt COACT dat voorbeeld om de robot te vragen: "Maak nu zelf een nieuwe, vergelijkbare vraag die jij kunt oplossen."
Het is alsof de leraar zegt: "Kijk, dit is een goed voorbeeld. Maak jij nu tien nieuwe opgaven die net zo moeilijk zijn, zodat we meer oefenmateriaal hebben."
De robot maakt deze nieuwe vragen, en omdat ze gebaseerd zijn op wat hij al kan, zijn ze perfect voor training.

Waarom is dit zo goed?

Stel je voor dat je een sportteam traint:

De oude methoden deden alles zelf (en werden steeds slechter) of wachtten tot de coach elke beweging controleerde (en werden nooit snel genoeg).
COACT laat het team zelf oefenen op de bewegingen die ze al goed beheersen (dat gaat snel). Voor de moeilijke, twijfelachtige bewegingen roepen ze de coach erbij. En als de coach een goede beweging laat zien, vraagt het team om meer variaties van die beweging te bedenken, zodat ze nog beter worden.

Het resultaat:
De robot wordt veel sneller en beter dan voorheen, zonder dat je duizenden mensen nodig hebt om elke vraag te controleren. In de tests op het papier bleek dat deze methode de robot aanzienlijk slimmer maakte in wiskunde en redeneren, zelfs op vragen die hij nooit eerder had gezien.

Kortom: COACT is de manier waarop AI en mensen samenwerken om de AI slimmer te maken, waarbij de mens alleen ingrijpt waar het echt nodig is, en de AI de rest zelf regelt.

1. Het Probleem

Het aligneren van Large Language Models (LLMs) met menselijke voorkeuren is essentieel voor taken zoals instructievolging, redeneren en creatief schrijven. De huidige standaardmethoden (zoals RLHF en DPO) zijn echter afhankelijk van hoogwaardige, menselijk geannoteerde voorkeursdata (paren van 'gewenst' en 'ongewenst' antwoorden).

De uitdagingen zijn tweeledig:

Schaarste en Kosten: Het verzamelen van grote hoeveelheden hoogwaardige menselijke data is duur en tijdrovend.
Bestaande oplossingen hebben tekortkomingen:
- Self-rewarding (Zelfbeloning): Gebruikt LLMs om zelf labels te genereren. Dit is schaalbaar maar risicovol, omdat modellen hun eigen fouten kunnen versterken (self-bias) zonder externe validatie.
- Active Learning (Actief Leren): Selecteert strategisch de meest informatieve samples voor menselijke annotatie. Dit waarborgt kwaliteit, maar gebruikt door het beperkte annotatiebudget vaak geen van de resterende, waardevolle ongelabelde data.

Er is een fundamenteel dilemma: hoe kan men de schaalbaarheid van AI-generatie combineren met de kwaliteitsborging van menselijke annotatie?

2. Methodologie: Het COACT Framework

COACT (Co-Active LLM Preference Learning) is een nieuw raamwerk dat self-rewarding en actief leren synthetiseert via strategische mens-AI samenwerking. Het proces verloopt iteratief in vier hoofdstappen:

A. Constructie van Voorkeuren op Basis van Self-Consistency

Voor elke instructie in een batch genereert het model $k$ diverse antwoorden (via temperatuur-sampling).

Consistentie-meting: De consistentie $C(y)$ van een antwoord wordt berekend op basis van de frequentie waarmee hetzelfde eindantwoord voorkomt in de $k$ generaties.
Voorkeursparen: Het meest consistente antwoord wordt gekozen als $y^+$ (gewenst) en het minst consistente als $y^-$ (ongewenst).
Verdeling: De data wordt opgesplitst in een hoog-consistentie subset (hoge betrouwbaarheid) en een laag-consistentie subset (hoge onzekerheid).

B. Strategische Selectie voor Oracle-annotatie

In plaats van willekeurig of puur op onzekerheid te selecteren, deelt COACT het annotatiebudget ( $M$ ) strategisch op:

Laag-consistentie samples: De samples met de laagste consistentiescores worden geselecteerd, omdat deze de grootste onzekerheid vertegenwoordigen.
Hoog-consistentie samples (Out-of-Distribution detectie): Zelfs hoge consistentie kan leiden tot fouten (als het model consequent fouten maakt). COACT gebruikt k-NN (k-Nearest Neighbors) afstanden in de feature-ruimte om samples te identificeren die afwijken van eerder verifieerde, correcte data. Deze "self-consistent but incorrect" samples worden ook naar de oracle gestuurd.

C. Oracle Feedback en Instructie-Augmentatie

De geselecteerde samples worden geannoteerd door een "Oracle" (een mens of een sterk LLM). Deze feedback heeft een dubbel doel:

Verificatie: Het corrigeert de voorkeurslabels voor de geselecteerde samples.
Instructie-Augmentatie: De samples die door de oracle als correct zijn verifieerd, worden gebruikt als in-context learning voorbeelden. Het model genereert hierop nieuwe, diverse instructies die binnen zijn oplosbare capaciteit liggen. Dit vergroot de trainingsdata zonder extra menselijke kosten.

D. Model Update

Het model wordt bijgewerkt met een gemodificeerde DPO-objectief (Direct Preference Optimization). Deze loss combineert:

De standaard DPO-loss voor voorkeursleren.
Een NLL-regularisatieterm (Negative Log-Likelihood) om te voorkomen dat het model te ver afdwaalt van de oorspronkelijke verdeling.
De dataset bestaat uit een combinatie van Oracle-gelabelde data en AI-zelfgelabelde data (van de hoog-consistentie subset die niet naar de oracle ging).

3. Belangrijkste Bijdragen

Hybride Synergie: COACT overbrugt de kloof tussen schaalbare self-rewarding en kwaliteitsbewust actief leren door een iteratief proces te creëren waarbij AI en mens (of sterke oracle) elkaars sterke punten benutten.
Self-Consistency als Kwaliteitsproxy: Het introduceert het gebruik van self-consistency niet alleen voor het maken van paren, maar ook als criterium voor het splitsen van data en het detecteren van "zelfverzekerde fouten" via k-NN.
Oracle-Gedreven Data Augmentatie: Een innovatieve stap waarbij verifieerde voorbeelden worden gebruikt om nieuwe instructies te genereren, waardoor de trainingsdistributie wordt uitgebreid binnen de grenzen van het model.
Theoretische Onderbouwing: Het paper biedt een theoretisch bewijs dat gemengde supervisie (schone oracle-data + ruisige AI-data) strikt beter presteert dan alleen oracle-data, mits de ruis in de AI-data onder een bepaalde drempel blijft.

4. Resultaten

COACT is geëvalueerd op drie redeneringsbenchmarks (GSM8K, MATH, WebInstruct) met twee model families (Llama3-8B en Qwen3-4B).

Prestatieverbetering: Na vier iteraties boekte COACT gemiddelde verbeteringen van +13,25% op GSM8K, +8,19% op MATH en +13,16% op WebInstruct.
Superioriteit: Het overtrof alle bestaande baselines (Random, Entropy, Pref Certainty, Pref + Ent) consistent, met een marge van 4-8 procentpunten op de sterkste baselines.
Generalisatie: COACT toonde sterke generalisatie naar out-of-domain benchmarks (GPQA, MMLU-Pro), wat suggereert dat de methode robuust is en niet alleen op het trainingsdomein overfit.
Correlatie: Er werd een sterke Pearson-correlatie gevonden tussen self-consistency scores en daadwerkelijke nauwkeurigheid, wat de validiteit van de methode bevestigt.

5. Betekenis en Conclusie

COACT biedt een praktische oplossing voor het "data-schaarste" probleem in LLM-alignement. Het bewijst dat men niet hoeft te kiezen tussen schaalbaarheid (AI-generatie) en kwaliteit (menselijke validatie). Door strategisch te bepalen wanneer menselijke input nodig is (bij onzekerheid of potentieel zelfverzekerde fouten) en hoe deze input kan worden gebruikt om nieuwe trainingsdata te genereren, maximaliseert COACT de efficiëntie van het leerproces.

Dit onderzoek is significant voor de toekomst van LLM-ontwikkeling, vooral in scenario's waar menselijke annotatiebudgetten beperkt zijn, maar hoge prestaties vereist zijn. Het stelt een nieuwe standaard voor "Co-Active Learning" waarbij mens en AI als partners werken in een iteratief verbeteringscyclus.