Sintesi Tecnica: Multi-task Code LLMs: Data Mix o Model Merge?

Problema

L'ascesa dei framework agentici ha creato una domanda di modelli LLM per il codice più piccoli e specializzati, capaci di operare accanto ai modelli frontier per bilanciare prestazioni, costi e vincoli di inferenza. Tuttavia, l'implementazione pratica richiede spesso che questi modelli piccoli gestiscano simultaneamente molteplici compiti di codifica (ad esempio, generazione di codice e riassunto del codice). Esistono due strategie primarie per creare tali modelli multi-task:

1. Data Mixture (Miscela di Dati): Fine-tuning di un modello base una sola volta su un dataset combinato di tutti i compiti desiderati.
2. Model Merging (Fusione di Modelli): Addestramento di modelli "specialisti" separati per ogni compito e fusione dei loro pesi post-hoc.

Sebbene sia la miscela di dati che la fusione dei modelli siano aree di ricerca attive, l'efficacia comparativa specifica per i modelli LLM per il codice rimane poco studiata. Non è chiaro quale strategia produca migliori prestazioni multi-task, come la scala del modello influenzi questa scelta e se l'analisi dello spazio dei pesi possa predire la strategia ottimale.

Metodologia

Gli autori hanno condotto estese sperimentazioni confrontando il fine-tuning supervisionato (SFT) tramite data-mixture contro quattro tecniche di stato dell'arte per la fusione dei modelli su due famiglie di modelli (Qwen2.5-Coder e DeepSeekCoder) a due scale (circa 1.5B/1.3B e 7B di parametri).

• Compiti: Lo studio si è concentrato su due compiti di codifica distinti: Generazione di Codice (utilizzando KodCode, HumanEval, MBPP) e Riassunto di Codice (utilizzando CodeXGLUE Code-to-Text).
• Strategie:
  • Data Mixture: SFT su una combinazione rimescolata di dataset di generazione e riassunto.
  • Model Merging: Addestramento di specialisti separati per la generazione e il riassunto, quindi fusione tramite Linear, TIES (Trim, Elect Sign & Merge), DARE (Drop And Rescale) e DELLA (Deep Linear Learning Alignment).
• Analisi: Gli autori hanno introdotto un approccio diagnostico nello spazio dei pesi, misurando la distanza $L_2$ per livello dal modello base e calcolando le correlazioni di Pearson tra gli aggiornamenti dei pesi specifici per compito per comprendere l'interferenza e la sovrapposizione rappresentazionale.

Contributi Chiave

1. Confronto basato sulla Scala: Il documento fornisce un confronto empirico completo tra la data-mixture SFT e il model merging per i modelli di codice LLM alle scale di 2B e 7B.
2. Diagnostica dello Spazio dei Pesi: Gli autori propongono l'uso degli spostamenti dei pesi per livello e delle correlazioni degli aggiornamenti tra i compiti come diagnostica meccanicistica. Hanno scoperto che i modelli più piccoli esibiscono un'alta correlazione tra gli aggiornamenti dei compiti (indicando interferenza), mentre i modelli più grandi mostrano una bassa correlazione (indicando rappresentazioni ortogonali).
3. Linee Guida Pratiche: Lo studio stabilisce una chiara regola empirica basata sulla scala del modello:
   • Modelli Piccoli (~2B): La data-mixture SFT è la strategia preferita, poiché la fusione degli specialisti porta a un significativo degrado delle prestazioni dovuto ai vincoli di capacità.
   • Modelli Grandi (7B): Il model merging è superiore, spesso eguagliando o superando i singoli specialisti con un degrado minimo (<2.1%).

Risultati

La valutazione sui benchmark HumanEval, MBPP e CodeXGlue ha rivelato una distinta divergenza nella l'efficacia della strategia in base alla scala:

• Modelli Piccoli (1.3B/1.5B):
  • La data-mixture SFT ha costantemente superato le strategie di merging. Ad esempio, su Qwen 1.5B, la data mixing ha ottenuto solo un degrado medio del -1.26% rispetto agli specialisti, mentre i metodi di merging (Linear, TIES, DELLA) hanno subito perdite comprese tra il -7% e il -27%.
  • L'analisi dei pesi ha mostrato un'alta correlazione di Pearson tra gli aggiornamenti di generazione e riassunto nei modelli piccoli, suggerendo che essi modificano parametri simili, portando a un'interferenza distruttiva quando fusi.
• Modelli Grandi (7B):
  • Il model merging ha superato significativamente la data mixing. Su Qwen 7B, il merge DELLA ha ottenuto le migliori prestazioni complessive (-2.08% di perdita media), superando leggermente la data-mixture SFT (-2.57%).
  • Su DeepSeek 7B, il merging DARE ha ottenuto una ritenzione delle prestazioni quasi perfetta (-0.01% di perdita media), superando persino gli specialisti su metriche specifiche (ad esempio, il pass@1 di MBPP è migliorato da 0.775 a 0.799).
  • L'analisi dei pesi ha rivelato una bassa correlazione tra gli aggiornamenti dei compiti nei modelli 7B, indicando che utilizzano percorsi rappresentazionali distinti, permettendo una combinazione efficace senza conflitti.
• Specificità dell'Architettura: L'algoritmo di merging ottimale variava in base all'architettura; DELLA ha performato meglio per Qwen-Coder 7B, mentre DARE eccelleva per DeepSeek-Coder 7B.

Significato e Rivendicazioni

Il documento sostiene di fornire intuizioni azionabili per i professionisti che implementano sistemi agentici con risorse limitate. Il significato primario risiede nella scoperta che la strategia ottimale di apprendimento multi-task è determinata fondamentalmente dalla scala del modello piuttosto che dalle sole caratteristiche del compito.

• Per i Modelli Piccoli: Investire in strategie di data mixture accurata durante l'addestramento produce risultati superiori rispetto al merging post-hoc, evitando la "interferenza catastrofica" causata dalla limitata capacità dei parametri.
• Per i Modelli Grandi: Il merging di specialisti specifici per compito offre vantaggi convincenti, consentendo uno sviluppo modulare dove i team possono ottimizzare i modelli indipendentemente prima di combinarli. Questo approccio riduce i costi di addestramento evitando l'addestramento multi-task ridondante e permette l'aggiunta di nuove capacità senza dover riaddestrare da zero.

Gli autori concludono che, con una selezione attenta della strategia, i sistemi agentici piccoli possono godere di un'intelligenza del codice multi-task senza un addestramento eccessivo e spreco, e che l'analisi dello spazio dei pesi può servire come strumento predittivo per selezionare la strategia appropriata prima del deployment.