Technische Samenvatting: EvoPref

Probleemstelling

De uitlijning van Large Language Models (LLM) is momenteel sterk afhankelijk van op gradiënten gebaseerde methoden voor voorkeursoptimalisatie (zoals RLHF, DPO, ORPO). Hoewel deze methoden effectief zijn, lijden ze onder voorkeursinstorting, waarbij modellen convergeren naar smalle gedragsmodi die de trainingsdoelen voldoen, maar minderheidsvoorkeuren verwaarlozen. Dit resulteert in modellen die op beperkte manieren behulpzaam zijn en diversiteit missen. De auteurs schrijven dit toe aan het sterk niet-convexe verlieslandschap van LLM-finetuning, waar gradiëntafdaal met een enkele traject vaak vastloopt in suboptimale lokale minima, waardoor het enorme ruimte van mogelijke uitgelijnde gedragingen niet wordt verkend.

Methodologie: EvoPref

Het artikel introduceert EvoPref, een multi-objectieve evolutionaire algoritme (MOEA) ontworpen om diverse LLM-uitlijningen te ontdekken. In plaats van een enkele verliesfunctie te optimaliseren via backpropagation, onderhoudt EvoPref een populatie van Low-Rank Adaptation (LoRA)-adapters, die gelijktijdig evolueren over drie conflicterende doelen: Behulpzaamheid, Harmeloosheid en Eerlijkheid (HHH).

Kerncomponenten

1. Populatiegebaseerd zoeken: EvoPref evolueert een populatie ($\mu=32$) van LoRA-adapters over 50 generaties. De basis-LLM-weights blijven bevroren; alleen de low-rank adapter-matrices ($A$ en $B$) worden bijgewerkt.
2. NSGA-II-selectie: Het algoritme gebruikt het Non-dominated Sorting Genetic Algorithm II (NSGA-II) om oplossingen te rangschikken op basis van Pareto-dominantie. Het maakt gebruik van crowding distance om diversiteit binnen de Pareto-front te behouden, zodat oplossingen niet clusteren in één enkel gebied van de doelruimte.
3. Grid-gebaseerd archief: Een kritiek component is een $10 \times 10 \times 10$ grid-archief dat de 3D-doelruimte discretiseert.
   • Diversiteitsbehoud: Het archief slaat de beste niet-gedomineerde oplossing op die in elke gridcel is gevonden. Dit voorkomt het verlies van ontdekte diversiteitsmodi over generaties heen.
   • Crossover-partners: Het archief dient als bron van crossover-partners, waardoor de populatie kan interageren met diverse, eerder ontdekte oplossingen.
4. LoRA-bewuste crossover: Standaard arithmetische crossover kan de rang van LoRA-matrices opblazen, waardoor de low-rank-beperking wordt geschonden. EvoPref introduceert een rangbehoudende crossover die werkt op de gefactoriseerde componenten ($A$ en $B$) van de LoRA-adapters:
   $$A' = \gamma A_1 + (1-\gamma)A_2, \quad B' = \gamma B_1 + (1-\gamma)B_2$$
   Dit behoudt de low-rank-structuur terwijl het een zinvolle parametercombinatie mogelijk maakt.
5. Adaptieve mutatie: De mutatiestapgrootte ($\sigma$) wordt aangepast met behulp van Rechenberg's 1/5 success rule, waardoor exploratie en exploitatie automatisch in evenwicht worden gebracht zonder handmatige tuning.

Belangrijkste bijdragen

De auteurs identificeren vier primaire bijdragen:

1. Ontdekking van diversiteit: Het aantonen dat populatiegebaseerde methoden met archiefbehoud aanzienlijk meer diverse uitlijningen ontdekken dan gradiëntbaselines, specifiek door een hogere voorkeursdekking en lagere instortingspercentages te bereiken.
2. Theoretische motivatie: Het uitbreiden van de looptijdanalyse van Dang et al. [10] naar voorkeursoptimalisatie. De analyse suggereert dat op archief gebaseerde methoden instorting effectiever ontlopen dan optimalisatie met een enkel traject, omdat diversiteitsmetrieken (zoals crowding distance) essentieel zijn om lokale optima te ontlopen, en niet slechts optionele verbeteringen.
3. Algoritmische innovaties: De introductie van LoRA-bewuste crossover, een grid-gebaseerd archief voor systematische verkenning van de voorkeursruimte, en adaptieve mutatiestrategieën die zijn toegesneden op evolutionaire LLM-uitlijning.
4. Rigoureuze evaluatie: Uitgebreide vergelijkingen tegen gradiëntbaselines (DPO, IPO, KTO, ORPO), single-objectieve evolutionaire strategieën (CMA-ES) en andere multi-objectieve algoritmen (MOEA/D, SMS-EMOA) over 30 onafhankelijke runs met rigoureuze statistische toetsing (Friedman-test, Wilcoxon signed-rank test).

Resultaten

Geëvalueerd op het Mistral-7B-Instruct-model met behulp van de HH-RLHF-dataset en standaard benchmarks (RewardBench, MT-Bench, TruthfulQA, Safety Eval):

• Voorkeursdekking: EvoPref behaalde een mediaan voorkeursdekking van 82,5%, wat significant beter presteerde dan ORPO (70,0%, +18% relatieve verbetering, $p<0.001$) en andere evolutionaire baselines.
• Instortingsreductie: Het instortingspercentage werd met 47% verlaagd (11,0% voor EvoPref versus 20,6% voor ORPO).
• Uitlijningskwaliteit: EvoPref behield een concurrerende, en in sommige gevallen superieure, uitlijningskwaliteit. Het behaalde de hoogste mediaan RewardBench-accuraatheid (75,5% versus 75,0% voor ORPO, $p<0.05$) en MT-Bench-score (7,62).
• Ablatiestudies: Het verwijderen van het archief verlaagde de dekking naar 71,2%, en het verwijderen van crowding distance verlaagde deze naar 70,0%, wat bevestigt dat diversiteitsmechanismen essentieel zijn voor het succes van de methode.
• Generalisatie: De diversiteitsvoordelen generaliseerden naar benchmarks die niet in de training werden gebruikt (WildChat en HarmBench), waarbij EvoPref superieure dekking en veiligheidsprestaties behield in vergelijking met gradiëntbaselines.

Betekenis en claims

Het artikel beweert dat evolutionaire optimalisatie een principieel paradigma is voor diverse LLM-uitlijning. De primaire betekenis ligt in het aantonen dat:

• Diversiteit geen bijproduct is maar een vereiste: De studie valideert het theoretische inzicht dat diversiteitsmechanismen (specifiek archiefgebaseerd behoud en crowding distance) noodzakelijk zijn om de "voorkeursinstorting" inherent aan gradiëntafdaal te ontlopen.
• Voorbij single-point optimalisatie: In tegenstelling tot gradiëntmethoden die een enkele modelconfiguratie opleveren, produceert EvoPref een archief van 100+ diverse modellen. Dit stelt praktici in staat om specifieke adapters te selecteren op basis van de implementatiecontext (bijvoorbeeld prioriteit geven aan veiligheid voor toepassingen met hoog risico of behulpzaamheid voor algemene assistentie) zonder opnieuw te trainen.
• Verkenning van niet-convexe gebieden: Door een populatie te laten evolueren, kan EvoPref niet-convexe gebieden van de Pareto-front verkennen die ontoegankelijk zijn voor lineaire interpolatiemethoden (zoals "rewarded soups") of gradiëntafdaal met een enkel traject.

De auteurs concluderen dat hoewel op gradiënten gebaseerde methoden concurrerend blijven in ruwe kwaliteit, evolutionaire benaderingen een fundamenteel andere en robuustere weg bieden voor het ontdekken van het volledige spectrum van veilige en behulpzame LLM-gedragingen.