Enhancing Value Alignment of LLMs with Multi-agent system and Combinatorial Fusion

Deze paper introduceert VAS-CFA, een framework dat de waarde-uitlijning van grote taalmodellen verbetert door meerdere morele agenten met verschillende normatieve perspectieven te combineren via combinatorische fusie-analyse, wat resulteert in robuustere en ethisch pluralistische antwoorden dan bestaande methoden.

De kern

Stel je voor dat je een zeer slimme, maar soms wat verwarde robot hebt die alles op het internet heeft gelezen. Deze robot (een "Large Language Model" of LLM) kan prachtige verhalen vertellen, maar soms zegt hij dingen die onwaar, onveilig of gewoon niet in lijn zijn met wat mensen als goed en eerlijk beschouwen.

De vraag is: Hoe zorgen we dat deze robot zich gedraagt zoals een goed mens?

Dit artikel beschrijft een nieuwe, slimme manier om dat te doen, genaamd VAS-CFA. Laten we het uitleggen met een paar alledaagse vergelijkingen.

1. Het oude probleem: De eenzame expert

Vroeger probeerden ontwikkelaars de robot te trainen door één "rechter" of "beoordelaar" te gebruiken. Stel je voor dat je één leraar vraagt om een essay te beoordelen. Die leraar is misschien heel streng op grammatica, maar vergeet de inhoud. Of hij is heel streng op inhoud, maar negeert de toon.

• Het probleem: Als je maar één mening hebt, mis je de nuance. Mensen hebben immers heel verschillende waarden (soms wil je eerlijkheid, soms wil je zachtheid, soms wil je loyaliteit). Een enkele robot kan niet alles tegelijk perfect doen.

2. De nieuwe oplossing: Een team van specialisten

In plaats van één leraar, hebben de onderzoekers vijf verschillende robot-specialisten gecreëerd. Stel je dit team voor als een jury van vijf experts met elk een heel specifiek karakter:

1. Autoriteit: Kijkt naar regels en orde.
2. Zorg: Kijkt naar empathie en het welzijn van anderen.
3. Rechtvaardigheid: Kijkt naar eerlijkheid en gelijkheid.
4. Loyaliteit: Kijkt naar trouw aan de groep of familie.
5. Heiligheid: Kijkt naar morele zuiverheid en respect.

Elke expert leest je vraag en geeft een antwoord vanuit zijn eigen perspectief. Soms komen ze overeen, maar vaak hebben ze heel verschillende ideeën.

3. Het grote probleem: De ruzie in de kamer

Als je gewoon al deze vijf antwoorden bij elkaar plakt, krijg je een rommelpot. Het is alsof je vijf mensen in een kamer zet die allemaal tegelijk praten; je hoort niets duidelijk.

• De oplossing: De onderzoekers gebruiken een slimme techniek om de antwoorden op te breken in kleine stukjes, noem ze "morele bouwstenen".
  • Vergelijking: Stel je voor dat je een grote, rommelige lasagne hebt. In plaats van de hele lasagne te eten, snijd je hem in kleine, nette blokjes. Elk blokje bevat één duidelijk idee (bijvoorbeeld: "Het is belangrijk dat je kind gezond opgroeit").

4. De magische mix: De "Combinatorische Fusion"

Nu hebben ze een bak vol met deze kleine blokjes van alle vijf de experts. Hoe kiezen ze de beste?
Ze gebruiken een wiskundig systeem genaamd Combinatorial Fusion Analysis (CFA).

• De analogie: Stel je voor dat je een recept maakt. Je hebt vijf koks. Je wilt niet gewoon hun gerechten mengen. Je wilt weten: "Welke kok is het meest creatief? Welke is het meest betrouwbaar?"
  • Het systeem kijkt naar hoe verschillend (divers) de koks zijn. Als twee koks precies hetzelfde zeggen, is dat saai. Als ze heel anders denken, is dat waardevol.
  • Het systeem combineert de beste blokjes op een slimme manier. Het kijkt niet alleen naar de "score" (hoe goed een blokje is), maar ook naar de "rangorde" (waar staat het blokje in de lijst van de beste ideeën?).

De verrassende ontdekking: Het bleek dat het kijken naar de rangorde (wie staat op plek 1, 2, 3?) veel beter werkt dan alleen kijken naar de punten. Het is alsof het belangrijk is wie er wint, niet alleen hoeveel punten ze halen. Dit helpt om conflicten op te lossen en de meest menselijke, gebalanceerde antwoorden te vinden.

5. Het resultaat: Een perfect antwoord

Uiteindelijk pakt het systeem het allerbeste blokje (of een paar blokjes) en laat een "parafraaser" (een schrijver-robot) dit omzetten in een volledig, natuurlijk antwoord voor de gebruiker.

Wat levert dit op?

• Minder ruzie: De robot geeft geen tegenstrijdige antwoorden meer.
• Meer menselijkheid: Het antwoord houdt rekening met verschillende morele waarden (zorg, eerlijkheid, regels) tegelijk.
• Beter dan de rest: In tests deed dit systeem het veel beter dan robots die maar één mening hadden, of robots die hun antwoorden op een saaie manier samenvoegden.

Samenvattend in één zin:

In plaats van te vertrouwen op één robot die probeert alles te weten, bouwen ze een team van vijf specialisten, breken hun antwoorden op in kleine stukjes, en gebruiken een slimme mixtechniek om het allerbeste, meest menselijke antwoord te creëren dat rekening houdt met de complexiteit van onze wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Enhancing Value Alignment of LLMs with Multi-Agent System and Combinatorial Fusion", gepresenteerd in het Nederlands.

Probleemstelling

Het aligneren van Large Language Models (LLMs) met menselijke waarden is een cruciale uitdaging voor het veilig en betrouwbaar inzetten van deze systemen. Bestaande methoden, zoals Reinforcement Learning from Human Feedback (RLHF) en zijn varianten (bijv. RLAIF, DPO), hebben de prestaties verbeterd, maar vertonen belangrijke beperkingen:

• Enkele Evaluator: Ze vertrouwen vaak op één enkele evaluator of een smal gedefinieerd beloningssignaal.
• Gebrek aan Pluralisme: Ze kunnen de ethische complexiteit en het pluralisme van menselijke waarden niet adequaat vastleggen.
• Conflicten: Directe aggregatie van meerdere agenten kan leiden tot semantische conflicten en oncoherente antwoorden als er geen mechanisme is om tegenstrijdige morele verplichtingen op te lossen.

Methodologie: VAS-CFA

De auteurs stellen VAS-CFA (Value Alignment System using Combinatorial Fusion Analysis) voor, een raamwerk dat multi-agent aggregatie operationaliseert via Combinatorial Fusion Analysis (CFA). Het proces verloopt in vier hoofdstappen:

1. Training van Morele Agenten:

   • Er worden vijf specifieke morele agenten gefinetuned, elk vertegenwoordigend een distinct normatief perspectief gebaseerd op de ethische fundamenten van Moral Foundations Theory: Authority (A), Care (B), Fairness (C), Loyalty (D) en Sanctity (E).
   • De agenten zijn gefinetuned op de Moral Integrity Corpus (MIC) dataset met behulp van Direct Preference Optimization (DPO) en QLoRA (4-bit quantization) op een basismodel (OpenAssistant/oasst-sft-4-pythia-12b).
   • Elke agent produceert een eigen antwoord op een gegeven prompt.

2. Decompositie in Morele Eenheden:

   • In plaats van de volledige antwoorden direct te combineren, worden de output van elke agent opgesplitst in "morele eenheden" (moral units) met behulp van GPT-4.1 nano.
   • Elke eenheid bevat één specifieke morele claim. Dit lost het probleem op van lange, multi-thematische antwoorden van modellen die moeilijk te aligneren zijn.

3. Score- en Rangschikking (Scoring & Ranking):

   • Een "morele classifier" (gebaseerd op SentenceTransformer en logistieke regressie) evalueert elke morele eenheid op zijn alignering met de vijf morele waarden.
   • Dit resulteert in vijf scoresystemen (één per agent) voor elke eenheid.
   • De auteurs berekenen de Cognitive Diversity (CD) tussen de agenten. Dit is een maat voor hoe verschillend de agenten zijn in hun beoordeling (gebaseerd op het verschil tussen hun rangschikking-functies).

4. Combinatorial Fusion Analysis (CFA):

   • De outputs van de agenten worden gefuseerd via CFA. Er worden 26 mogelijke combinaties gegenereerd (alle subsets van de 5 agenten).
   • Er worden vier fusietypes toegepast:
     1. ASC: Gemiddelde score-combinatie.
     2. WSCDS: Gewogen score-combinatie op basis van diversiteitssterkte (diverse agenten krijgen meer gewicht).
     3. ARC: Gemiddelde rangschikking-combinatie.
     4. WRCDS: Gewogen rangschikking-combinatie op basis van diversiteitssterkte.
   • De beste eenheid wordt geselecteerd en vervolgens door een "paraphraser" omgezet in een coherent, menselijk antwoord dat de morele inhoud behoudt.

Belangrijkste Bijdragen

• Operationalisering van Ethisch Pluralisme: Het introduceren van een systeem dat meerdere, distincte morele perspectieven simultaan verwerkt in plaats van te vertrouwen op één "waarheid".
• Toepassing van CFA op LLMs: Het toepassen van Combinatorial Fusion Analysis (een methode die eerder vooral in wetenschappelijke ontdekking en materialkunde werd gebruikt) op het gebied van waarde-alignement van taalmodellen.
• Diversiteit als Kwaliteitsmaatstaf: Het bewijzen dat cognitieve diversiteit tussen agenten kan worden gebruikt als een gewichtsfactor om redundante of conflicterende signalen te mitigeren.
• Ranking vs. Scoring: Het inzicht dat rangschikking-gebaseerde fusie (Rank-based) vaak superieur is aan score-gebaseerde fusie bij hoge cognitieve diversiteit.

Resultaten

De prestaties van VAS-CFA zijn geëvalueerd op een testset van 113.8k prompt-response paren, gemeten met ROUGE-L en F1 BERTScore in vergelijking met menselijk herziene antwoorden.

• Superioriteit t.o.v. Single Agents: VAS-CFA overtreft consequent de individuele morele agenten (A t/m E) op beide metrieken.
• Superioriteit t.o.v. Bestaande Fusiemethoden: Het systeem presteert beter dan "Raw aggregation" (direct samenvoegen) en geavanceerdere methoden zoals CVA-GS en CVA-GS-DYN.
• Ranking vs. Score: De resultaten tonen aan dat rangschikking-combinaties (ARC en WRCDS) consistent beter presteren dan score-combinaties (ASC en WSCDS). Dit bevestigt de theorie dat bij hoge cognitieve diversiteit rangschikkingen robuuster zijn dan absolute scores.
• Beste Prestatie: De WRCDS-methode (gewogen rangschikking op basis van diversiteitssterkte) behaalde de hoogste scores (ROUGE-L F1: 0.1692, BERTScore F1: 0.8849).

Betekenis en Conclusie

Het paper demonstreert dat multi-agent fusie, wanneer gestuurd door Combinatorial Fusion Analysis, een robuust mechanisme is om de waarde-alignement van LLMs te verbeteren. Door expliciet gebruik te maken van cognitieve diversiteit en rangschikkingen, kan het systeem conflicten oplossen en antwoorden genereren die beter de complexiteit en het pluralisme van menselijke waarden weerspiegelen. Dit biedt een nieuwe richting voor het ontwikkelen van veiliger en ethisch georiënteerde AI-systemen die minder afhankelijk zijn van smalle beloningssignalen.