Technische Samenvatting: Beloningsvrije Code-alignement van Pretrained of Fine-tuned LLM's

Probleemstelling

Hoewel de alignment van Large Language Models (LLM's) uitgebreid is bestudeerd voor algemene tekstgeneratie (bijv. het beperken van toxiciteit of bias), blijft de toepassing ervan op codegeneratie onderbelicht. Codegeneratie brengt unieke uitdagingen met zich mee waarbij alignment zowel functionele vereisten (uitvoerbare, correcte code) als niet-functionele vereisten (leesbaarheid, beveiliging, onderhoudbaarheid en naleving van software engineering best practices) moet adresseren.

Beoefenaars worden geconfronteerd met twee kritische, onopgeloste vragen bij het toepassen van alignment op code-LLM's:

1. Padselectie: Moet alignment worden toegepast op de base pretrained versie van een LLM of op de instruction-tuned (finetuned) versie?
2. Prioritering van doelstellingen: Moet alignment prioriteit geven aan functionele correctheid, niet-functionele kwaliteit, of beide?

Bestaande literatuur suggereert een "stabiliteit-plasticiteit-dilemma" in continu leren, waarbij modellen een balans moeten vinden tussen het behouden van bestaande kennis (stabiliteit) en het verwerven van nieuwe capaciteiten (plasticiteit). Het is onduidelijk hoe deze afweging zich manifesteert in code-alignment, met name of starten vanaf een pretrained base (hoge plasticiteit, lage taakspecifieke prestaties) of een finetuned base (hoge stabiliteit, hoge absolute prestaties) betere resultaten oplevert voor codegeneratie.

Methodologie

De auteurs voerden een empirische studie uit met vijf state-of-the-art (SOTA) open-source LLM's en hun instruction-tuned varianten:

• Modellen: Meta-Llama-3-8B, Qwen2.5-Coder-7B, CodeLlama-7b, deepseek-coder-1.3b, en deepseek-coder-7b.
• Alignment-technieken: Twee beloningsvrije (reward-free) technieken werden toegepast om de noodzaak voor aparte beloningsmodellen te elimineren:
  • Direct Preference Optimization (DPO): Herformuleert alignment als een classificatieprobleem om geprefereerde versus afgewezen responsen te onderscheiden.
  • BoNBoN (Best-of-N BoN): Traint modellen om de distributie van de best-of-N sampling na te bootsen zonder kosten voor inferentie-time sampling.
• Datageneratie: Voorkeursdatasets werden gegenereerd met behulp van een aangepaste SelfCodeAlign pipeline. Voor elk model genereerde de pipeline "chosen" (passende) en "rejected" (niet-passende) respons-paren. Cruciaal is dat datasets apart werden gecreëerd voor functionele en niet-functionele vereisten door de prompts aan te passen om specifieke kwaliteitsdimensies te targeten.
• Trainingspaden: Twee verschillende paden werden voor elk model geëvalueerd:
  1. Pretrained-to-Aligned (PTA): Startend vanaf het base pretrained model.
  2. Finetuned-to-Aligned (FTA): Startend vanaf het instruction-tuned model.
  • Beide paden bevatten een Supervised Fine-Tuning (SFT) stap op de gekozen responsen, gevolgd door de alignment-stap (DPO of BoNBoN).
• Evaluatie:
  • Functionele vereisten: Geëvalueerd met vier SOTA benchmarks: HumanEval+, MBPP+, EvalPerf, en EvoEval (meten van Pass@1).
  • Niet-functionele vereisten: Geëvalueerd met de CODAL benchmark, die code beoordeelt over vijf dimensies (Instructie-opvolging, Leesbaarheid, Complexiteit/Efficiëntie, Stijl-naleving, Code-uitleg) op een schaal van 0-10.

Belangrijkste Bijdragen en Bevindingen

1. Pad-afwegingen: Plasticiteit versus Stabiliteit

De studie onthult een duidelijke afweging tussen de twee paden, wat overeenkomt met het stabiliteit-plasticiteit-dilemma:

• Pretrained-to-Aligned (PTA): Vertoont een hoge plasticiteit. Deze modellen bereiken aanzienlijk grotere relatieve verbeteringen (bijv. CodeLlama-7b zag een +75% verbetering in niet-functionele scores; Llama3-8b zag +42% in functionele scores). Echter, ze starten van zwakkere baselines en blijven zelfs na alignment vaak inferieur in absolute prestaties aan hun finetuned tegenhangers.
• Finetuned-to-Aligned (FTA): Vertoont een hoge stabiliteit. Deze modellen behouden over het algemeen hogere absolute prestaties maar laten kleinere relatieve verbeteringen zien of, in sommige gevallen, catastrofale degradatie (bijv. CodeLlama-7b-Instruct degradeerde met ~40% in functionele taken na alignment).
• Conclusie: PTA is superieur voor het maximaliseren van relatieve winsten vanuit een lage baseline, terwijl FTA te prefereren is voor het handhaven van stabiele, hoge absolute prestaties, hoewel het een hoger risico op degradatie met zich meebrengt.

2. Functionele versus Niet-functionele Alignment

• Niet-functionele Alignment: Demonstreert consistente en betrouwbare verbeteringen over beide paden en modeltypen heen. Code-gespecialiseerde modellen (bijv. CodeLlama, deepseek-coder) lieten substantiële winsten zien (tot +75%) in leesbaarheid, stijl en beveiliging.
• Functionele Alignment: Toont zeer variabele uitkomsten. Terwijl sommige modellen (bijv. Llama3-8b) significant verbeterden, leden anderen aan ernstige prestatiedalingen. Functionele alignment is sterk model-afhankelijk en draagt een aanzienlijk risico op falen, met name in het FTA-pad.

3. Model- en Techniek-specificiteit

• Voorkeuren per Modelfamilie: De effectiviteit van alignment is niet universeel. Meta-Llama modellen presteerden over het algemeen beter met DPO, terwijl deepseek modellen betere resultaten lieten zien met BoNBoN.
• Modelgrootte: Grotere varianten binnen een familie (bijv. 7B versus 1.3B) vertoonden een significant betere responsiviteit op alignment.
• Vroege Faalindicatoren: Er werd vastgesteld dat prestatie-degradatie tijdens de initiële SFT-fase een sterke voorspeller is van uiteindelijke alignment-faling (Observatie 8).

4. Aanbevelingen

Op basis van het empirische bewijs doen de auteurs negen aanbevelingen voor beoefenaars:

1. Padselectie: Kies PTA voor het maximaliseren van de omvang van de verbetering; kies FTA voor stabiele, hoge absolute prestaties.
2. Prioritering: Prioriteer eerst niet-functionele alignment-doelstellingen, aangezien deze meer voorspelbare en consistente resultaten opleveren.
3. Modelselectie: Geef de voorkeur aan code-gespecialiseerde modellen en grotere parametersaantallen (≥7B).
4. Drempelwaarden: Stel minimale baseline-prestatiedrempels vast voordat u alignment probeert; focus op onder-aligned modellen.
5. Techniekselectie: Pas model-familie-specifieke voorkeuren toe (bijv. DPO voor Llama, BoNBoN voor deepseek), maar valideer dit empirisch.
6. Risicobeheer: Monitor de SFT-fase-prestaties om vroege tekenen van falen te detecten en gebruik diverse benchmarks om trade-offs in capaciteiten te identificeren.

Betekenis en Claims

Het artikel claimt de eerste uitgebreide vergelijking te bieden van de pretrained-naar-aligned versus de finetuned-naar-aligned paden specifiek voor codegeneratie, waarmee een gat in de bestaande literatuur wordt gedicht die zich grotendeels richt op algemene tekst-alignment.

De auteurs benadrukken dat code-alignment anders werkt dan tekstuele alignment:

• In tegenstelling tot tekst-alignment, waarbij effectiviteitspatronen vaak generaliseerbaar zijn, is code-alignment taaktype-afhankelijk en model-familie-specifiek.
• De studie daagt de aanname uit dat starten vanaf een instruction-tuned model altijd optimaal is, door aan te tonen dat hoewel FTA hogere absolute baselines biedt, het gevoeliger is voor catastrofale vergetelheid en degradatie wanneer reward-free alignment-technieken worden toegepast.
• De bevindingen suggereren dat voor code-LLM's niet-functionele vereisten (beveiliging, stijl, onderhoudbaarheid) betrouwbaarder verbeterd kunnen worden via alignment dan functionele correctheid, die zeer gevoelig blijft voor de begintoestand van het model en de architectuur.

Het paper concludeert door deze bevindingen te valideren via een enquête onder 30 ML-beoefenaars, die bevestigden dat de afwegingen tussen relatieve verbetering (PTA) en absolute stabiliteit (FTA) cruciale beslismomenten zijn in real-world software engineering workflows.