Towards the Readability of LLM-Generated Codes through Multitask Representation Engineering

Sintesi Tecnica: Verso la leggibilità del codice generato da LLM attraverso la Rappresentazione Multitask (MRepE)

Problematica
Sebbene i Large Language Models (LLM) abbiano fatto progressi significativi nella generazione di codice, la ricerca esistente si concentra prevalentemente sulla garanzia della correttezza del codice (fedeltà funzionale), trascurando spesso la leggibilità (facilità di comprensione e manutenzione). La leggibilità del codice è intrinsecamente soggettiva, varia tra gli sviluppatori in base all'esperienza e alle preferenze, ed è tipicamente valutata attraverso metriche come la densità dei commenti, le convenzioni di denominazione e la complessità ciclomatica. Gli attuali metodi per migliorare la leggibilità, come il prompt engineering, mancano di stabilità tra modelli e task, mentre il fine-tuning a tutti i parametri è computazionalmente costoso e richiede grandi quantità di dati. Inoltre, gli approcci di Representation Engineering (RepE) esistenti mirano principalmente al controllo di un singolo task, fallendo nel gestire la sfida di coordinare simultaneamente più metriche di leggibilità potenzialmente interferenti. Rimane un divario critico nella comprensione e nella gestione del compromesso tra l'incremento della leggibilità e la preservazione della correttezza del codice quando si applica un controllo mirato.

Metodologia
Gli autori propongono MRepE (Multitask Representation Engineering), un framework progettato per migliorare la leggibilità del codice generato da LLM attraverso vettori di steering multitask senza aggiornare i pesi del modello. La metodologia consiste in tre fasi primarie:

1. Preparazione dei Dati: Il framework costruisce dataset contrastivi per tre specifiche metriche di leggibilità: densità dei commenti (CD), convenzioni di denominazione (NC) e complessità ciclomatica (CC). Per ogni metrica, vengono creati prompt accoppiati in cui un esempio soddisfa la metrica (alta leggibilità) e l'altro no (bassa leggibilità). Vengono calcolate le rappresentazioni degli stati nascosti del modello per queste coppie, e i vettori di differenza vengono centrati sulla media per isolare gli spostamenti di rappresentazione associati a ciascuna metrica.
2. Estrazione dei Vettori di Steering (MOC-JPCA): Per affrontare l'interferenza che si verifica quando si estraggono e si iniettano indipendentmente i vettori di steering per più task, gli autori introducono l'algoritmo MOC-JPCA (Joint Principal Component Analysis with Multidimensional Orthogonal Constraints). A differenza della standard PCA, la MOC-JPCA stima congiuntamente la prima componente principale per ogni metrica sotto il vincolo che tutti i vettori di steering risultanti siano pairwise ortogonali. Ciò viene ottenuto ottimizzando una somma pesata delle varianze proiettate su una varietà di Stiefel, garantendo che le direzioni di steering per CD, NC e CC siano geometricamente disgiunte e non si interferiscano mutuamente. L'algoritmo è dimostrato convergere a un punto stazionario del primo ordine.
3. Iniezione dei Vettori di Steering: Durante l'inferenza, i vettori ortogonali estratti vengono iniettati in layer selezionati dell'LLM. L'iniezione è additiva, modificando lo stato nascosto $h^{(l)}$ tramite una somma pesata dei vettori di steering ($v^{(l)}_k = c_k \cdot d^{(l)}_k$), dove $c_k$ rappresenta il coefficiente di forza dello steering. Ciò consente un'aggiustamento dinamico del compromesso tra le diverse dimensioni della leggibilità e la preservazione della correttezza.

Analisi Teorica
Il documento fornisce un framework teorico per quantificare l'impatto dello steering multitask:

• Miglioramento della Leggibilità (Teorema 2): Gli autori stabiliscono un limite inferiore per il miglioramento della leggibilità del codice. Dimostrano che all'aumentare dei coefficienti di steering, la probabilità che il modello generi risposte positive a query relative alla leggibilità aumenta garantitamente, essendo limitata da una funzione della forza dello steering e delle prestazioni iniziali del modello.
• Compromesso sulla Correttezza (Teorema 3): Al contrario, gli autori derivano un limite superiore per l'impatto negativo sulla correttezza del codice. Il teorema caratterizza come l'iniezione di vettori di steering della leggibilità influenzi la capacità del modello di identificare il codice corretto, dimostrando che il degrado della correttezza è limitato e può essere controllato dalla grandezza dei coefficienti di steering.

Risultati Sperimentali
Il framework è stato valutato su tre modelli di base: Deepseek R1 14b, Qwen2.5-Coder 14b Instruct e CodeLlama 13b Instruct, utilizzando un dataset MBPP esteso.

• Performance di Leggibilità: Gli esperimenti hanno dimostrato un aumento significativo e stabile della probabilità che i modelli forniscano risposte positive a query relative alla leggibilità (CD, NC, CC) all'aumentare dei coefficienti di steering. I risultati empirici sono in stretta corrispondenza con i limiti inferiori teorici previsti dal Teorema 2.
• Impatto sulla Correttezza: All'aumentare della forza dello steering, le performance dei modelli sulle query di correttezza del codice hanno mostrato una tendenza al declino. Tuttavia, tale declino è rimasto entro i limiti superiori teorici stabiliti dal Teorema 3.
• Ottimizzazione del Compromesso: Lo studio ha identificato combinazioni specifiche di coefficienti che hanno raggiunto un equilibrio favorevole. Ad esempio, con Deepseek R1 14b, una specifica configurazione ha migliorato significativamente la leggibilità riducendo la correttezza solo dello 0,79%. Simili compromessi controllabili sono stati osservati per gli altri modelli, validando la capacità di tarare il sistema per specifiche esigenze applicative.

Contributi Chiave e Significatività
Il documento rivendica i seguenti contributi:

1. Framework MRepE: Un nuovo framework di steering multitask che consente il controllo coordinato su molteplici metriche di leggibilità del codice (densità dei commenti, convenzioni di denominazione, complessità ciclomatica) senza riaddestrare il modello.
2. Algoritmo MOC-JPCA: Un nuovo algoritmo per l'estrazione di vettori di steering che impone l'ortogonalità multidimensionale, sopprimendo efficacementamente l'interferenza mutua tra diverse metriche di leggibilità e fornendo basi di steering stabili e complementari.
3. Caratterizzazione Teorica: Un'analisi teorica che quantifica il compromesso tra leggibilità del codice e correttezza, fornendo limiti inferiori per i guadagni di leggibilità e limiti superiori per le perdite di correttezza.
4. Validazione Empirica: Esperimenti esaustivi su molteplici LLM che dimostrano come MRepE possa migliorare costantemente la leggibilità limitando il degrado della correttezza a livelli accettabili.

La significatività di questo lavoro risiede nel suo passaggio dal controllo a task singolo a un approccio multitask per la qualità del codice, affrontando la natura soggettiva e multidimensionale della leggibilità. Fornendo un metodo leggero e con bassa dipendenza dai dati (RepE) dotato di garanzie teoriche sul compromesso leggibilità-correttezza, gli autori offrono un meccanismo pratico per permettere agli sviluppatori di adattare il codice generato dagli LLM alle specifiche preferenze umane e ai requisiti di manutenzione senza sacrificare l'affidabilità funzionale.