Technische Samenvatting: Contrastive Weak-to-Strong Generalization (ConG)

Probleemstelling

Weak-to-strong generalization (W2SG) is een veelbelovend paradigma voor het schalen van Large Language Models (LLMs) door sterkere modellen te trainen op samples gegenereerd door afgestemde (aligned) zwakkere modellen, waarbij de noodzaak voor menselijke feedback of expliciete beloningsmodellering wordt omzeild. Echter, de praktische toepasbaarheid van W2SG wordt momenteel gehinderd door de inherente ruis, vooroordelen en lage kwaliteit van de outputs van zwakke modellen. Deze imperfecties beperken de robuustheid en de generalisatiecapaciteiten van de resulterende sterkere modellen, wat vaak effectieve capaciteitsoverdracht verhindert. De centrale uitdaging die in dit werk wordt aangepakt, is hoe er kwalitatief betere, gedenoised (ontruiste) samples uit zwakke modellen kunnen worden geëxtraheerd zonder afhankelijk te zijn van expliciete beloningen (bijv. menselijke feedback of aparte beloningsmodellen) om een effectievere weak-to-strong generalization te bereiken.

Methodologie: Contrastive Weak-to-Strong Generalization (ConG)

De auteurs stellen ConG voor, een framework dat gebruikmaakt van de structurele equivalentie tussen impliciete beloningen en Contrastive Decoding (CD) om hoogwaardige trainingsdata te genereren.

1. Theoretische Fundering: CD–Implicit Reward Correlatie

De kerninzicht van het paper is de formalisering van de CD–Implicit Reward Correlatie.

• Impliciete Beloningen: In preference alignment (bijv. DPO) wordt de impliciete beloning geparametriseerd als de log-likelihood ratio tussen een na de alignment geparametriseerde policy ($\pi_r$) en een pre-alignment referentiepolicy ($\pi_{ref}$).
• Contrastive Decoding (CD): CD is een decodingstrategie die tokens genereert door de waarschijnlijkheidsverdelingen van een sterker model te contrasteren met die van een zwakker model (of een referentie).
• De Connectie: De auteurs demonstreren dat de token-niveau impliciete beloning wiskundig equivalent is aan de contrastieve term in CD. Specifiek genereert CD tokens die de impliciete beloning benaderen door te maximaliseren. Door de contrastieve coëfficiënt $\alpha$ aan te passen, kan men het gewicht van het impliciete beloningssignaal controleren, waardoor de ruis en bias die aanwezig zijn in standaard sampling van het zwakke model effectief wordt weggefilterd.

2. Het ConG Framework

ConG opereert in twee fasen om een sterk model ($\pi_s$) te trainen met behulp van een zwak modelpaar ($\pi_{ref}^w$ en $\pi_r^w$):

• Fase I: ConG-S (Contrastive Decoding voor SFT)

  • Het afgestemde zwakke model ($\pi_r^w$) en het pre-alignment zwakke model ($\pi_{ref}^w$) worden gebruikt om Contrastive Decoding uit te voeren.
  • Dit proces genereert hoogwaardige "chosen" responses ($y_w$) voor een set prompts.
  • Het sterke model wordt geïnitialiseerd via Supervised Fine-Tuning (SFT) op deze CD-gegenereerde samples, waardoor de policy richting een hoog-belonende preferentie-verdeling beweegt.

• Fase II: ConG (Generalisatie met DPO)

  • Het sterke model ($\pi_{SFT}^s$) wordt verder verfijnd met behulp van Direct Preference Optimization (DPO).
  • Voor elke prompt wordt een "chosen" response ($y_w$) opgehaald uit de CD-generatie (Fase I), en een "rejected" response ($y_l$) wordt gesampled uit het sterke model zelf met behulp van standaard decoding.
  • Theoretische analyse bevestigt dat de impliciete beloning van de CD-response strikt hoger is dan die van de standaard sample ($\hat{r}_w > \hat{r}_l$).
  • Het sterke model wordt geoptimaliseerd om het preferentiegat tussen $y_w$ en $y_l$ te maximaliseren, waarbij gebruik wordt gemaakt van het gedenoised signaal van het zwakke model terwijl de distributionele consistentie behouden blijft.

Belangrijkste Bijdragen

1. Theoretische Unificatie: Het paper legt een formele link tussen impliciete beloningen en Contrastive Decoding, en bewijst dat CD een mechanisme is voor het maximaliseren van de impliciete beloning. Dit biedt een theoretische rechtvaardiging voor het gebruik van CD om de outputs van zwakke modellen te denoisen.
2. ConG Framework: Een nieuw twee-fasen trainingspipeline (ConG-S + ConG) die contrastieve decoding tussen pre- en post-alignment zwakke modellen gebruikt om superieure supervisiesignalen voor sterke modellen te genereren.
3. Self-Alignment Capaciteit: Het framework reduceert van nature tot self-alignment wanneer de zwakke en sterke modellen als hetzelfde model worden geïnstantieerd, wat de toepasbaarheid vergroot buiten enkel weak-to-strong scenario's.
4. Empirische Validatie: Uitgebreide experimenten over verschillende modelfamilies (Qwen2.5 en Llama3) en schalen laten zien dat ConG consequent beter presteert dan traditionele W2SG-baselines.

Experimentele Resultaten

De auteurs evalueerden ConG op de AlpacaEval2 en Arena-Hard benchmarks met behulp van de Qwen2.5 en Llama3 modelfamilies.

• Prestatiewinst: ConG presteert significant beter dan traditionele weak-to-strong methoden (bijv. Weak SFT, WeakTeacher, WSPO) en base modellen.
  • Gemiddeld levert ConG een winst van ~16,5% op ten opzichte van het base model over verschillende settings.
  • In weak-to-strong alignment verbeterde ConG (w→s) de gemiddelde scores met ongeveer 16,3% ten opzichte van het base model, terwijl andere baselines vaak de prestaties verslechterden ten opzichte van het base model.
  • In self-alignment settings bereikte ConG (self) een gemiddelde verbetering van ~17,8% ten opzichte van referentiemodellen.
• Robuustheid en Generalisatie:
  • Model Capability Gap: De methode laat grotere verbeteringen zien wanneer het gat in capaciteit tussen het zwakke en sterke model kleiner is (bijv. 7B→7B) en wanneer het sterke model groter is, wat suggereert dat sterkere modellen preferentiesignalen van capabele zwakke docenten beter kunnen benutten.
  • Contrastieve Coëfficiënt ($\alpha$): Matige waarden van $\alpha$ (0,3–0,5) leveren de beste prestaties op, waarbij een balans wordt gevonden tussen beloningsmaximalisatie en generatiestabiliteit.
  • Downstream Taken: Evaluatie op algemene capaciteitsbenchmarks (MMLU, ARC, GSM8K, etc.) laat een verwaarloosbare degradatie zien (gemiddelde veranderingen binnen 1,0 punt), wat aangeeft dat ConG algemene capaciteiten behoudt terwijl de alignment wordt verbeterd.
• Cross-Family Generalisatie: De methode blijft effectief, zelfs wanneer de zwakke en sterke modellen tot verschillende families behoren (bijv. Llama3 zwak $\to$ Qwen sterk), hoewel met iets lagere absolute winsten vergeleken met in-family settings.

Betekenis en Claims

Het paper claimt dat ConG een veelbelovend pad naar Artificial General Intelligence (AGI) biedt door LLM's in staat te stellen zichzelf te verbeteren en capaciteiten over te dragen aan sterkere modellen zonder de prohibitieve kosten van menselijke feedback of expliciete beloningsmodellering.

Belangrijke claims met betrekking tot de betekenis van het werk zijn onder meer:

• Beperkingen Mitigeren: ConG mitigeert aanzienlijk de beperkingen van traditionele W2SG-methoden, specifiek de problemen met ruis en bias in de outputs van zwakke modellen die voorheen hun toepasbaarheid beperkten.
• Betrouwbare Overdracht: Door gebruik te maken van de CD–Implicit Reward Correlatie, maakt het framework een betrouwbaardere capaciteitsoverdracht, effectieve denoising en verbeterde robuustheid mogelijk.
• Schaalbaarheid: De aanpak biedt een schaalbaar alternatief voor huidige alignment-pipelines die zwaar afhankelijk zijn van menselijk toezicht, wat ontoereikend wordt zodra modellen de expertise van mensen overtreffen.
• Generaliteit: Het framework blijkt algemeen bruikbaar over verschillende modelarchitecturen, schalen en alignment-scenario's (zowel weak-to-strong als self-alignment).

De auteurs benadrukken dat hoewel ConG de huidige stand van de techniek vooruit helpt, het een verantwoorde inzet vereist om te voorkomen dat biases van de zwakke modellen onbedoeld worden voortgeplant, wat wijst op de noodzaak van zorgvuldige datasetcuratie en veiligheidsmechanismen.