Towards the Readability of LLM-Generated Codes through Multitask Representation Engineering

Technische Samenvatting: Naar de Leesbaarheid van door LLM gegenereerde Code via Multitask Representation Engineering

Probleemstelling
Hoewel Large Language Models (LLM's) de generatie van code aanzienlijk hebben geavanceerd, richt bestaand onderzoek zich voornamelijk op het waarborgen van de correctheid van code (functionele getrouwheid), waarbij de leesbaarheid (gemak van begrip en onderhoud) vaak wordt verwaarloosst. Codeleesbaarheid is inherent subjectief, varieert tussen ontwikkelaars op basis van ervaring en voorkeuren, en wordt doorgaans geëvalueerd via metrieken zoals commentaardichtheid, naamgevingsconventies en cyclomatische complexiteit. Huidige methoden om leesbaarheid te verbeteren, zoals prompt engineering, missen stabiliteit over modellen en taken heen, terwijl volledige parameter-fine-tuning computationeel duur en data-intensief is. Bovendien richten bestaande Representation Engineering (RepE)-benaderingen zich primair op single-task controle, waardoor ze niet in staat zijn het probleem aan te pakken van het coördineren van meerdere, potentieel interfererende leesbaarheidsmetrieken tegelijkertijd. Er blijft een kritieke kloof bestaan in het begrijpen en beheren van de afweging tussen het verbeteren van leesbaarheid en het behouden van de correctheid van code bij het toepassen van gerichte controle.

Methodologie
De auteurs stellen MRepE (Multitask Representation Engineering) voor, een framework ontworpen om de leesbaarheid van door LLM gegenereerde code te verbeteren via multitask steering vectors zonder de modelgewichten bij te werken. De methodologie bestaat uit drie primaire stadia:

1. Datapreparatie: Het framework construeert contrastieve datasets voor drie specifieke leesbaarheidsmetrieken: commentaardichtheid (CD), naamgevingsconventies (NC) en cyclomatische complexiteit (CC). Voor elke metriek worden gepaarde prompts gemaakt waarbij één voorbeeld aan de metriek voldoet (hoge leesbaarheid) en de andere niet (lage leesbaarheid). De hidden state representaties van het model voor deze paren worden berekend, en de verschilvectoren worden gemiddeld gecentreerd om de representatieverschuivingen te isoleren die met elke metriek geassocieerd zijn.
2. Steering Vector Extractie (MOC-JPCA): Om de interferentie aan te pakken die optreedt wanneer steering vectors voor meerdere taken onafhankelijk worden geëxtraheerd en geïnjecteerd, introduceren de auteurs het MOC-JPCA-algoritme (Joint Principal Component Analysis with Multidimensional Orthogonal Constraints). In tegen naar de standaard PCA, schat MOC-JPCA gezamenlijk de eerste hoofdcomponent voor elke metriek onder de voorwaarde dat alle resulterende steering vectors onderling orthogonaal zijn. Dit wordt bereikt door een gewogen som van geprojecteerde varianties op een Stiefel-variëteit te optimaliseren, wat ervoor zorgt dat de steering richtingen voor CD, NC en CC geometrisch ontkoppeld zijn en elkaar niet wederzijds verstoren. Het algoritme is bewezen te convergeren naar een eerste-orde stationair punt.
3. Steering Vector Injectie: Tijdens inferentie worden de geëxtraheerde orthogonale vectoren geïnjecteerd in geselecteerde verborgen lagen van de LLM. De injectie is additief, waarbij de hidden state $h^{(l)}$ wordt aangepast door een gewogen som van de steering vectors ($v^{(l)}_k = c_k \cdot d^{(l)}_k$), waarbij $c_k$ de steering strength coefficient vertegenwoordigt. Dit maakt een dynamische aanpassing mogelijk van de afweging tussen verschillende dimensies van leesbaarheid en het behoud van correctheid.

Theoretische Analyse
Het artikel biedt een theoretisch kader om de impact van multitask steering te kwantificeren:

• Verbetering van de Leesbaarheid (Stelling 2): De auteurs stellen een ondergrens vast voor de verbetering in codeleesbaarheid. Ze bewijzen dat naarmate de steering coefficients toenemen, de waarschijnlijkheid dat het model positieve antwoorden geeft op leesbaarheid-gerelateerde queries gegarandeerd toeneemt, begrensd door een functie van de steering strength en de initiële prestaties van het model.
• Correctheid Afweging (Stelling 3): Omgekeerd leiden de auteurs een bovengrens af voor de negatieve impact op de correctheid van de code. De stelling karakteriseert hoe de injectie van leesbaarheid steering vectoren de bekwaamheid van het model om correcte code te identificeren beïnvloedt, en demonstreert dat de degradatie in correctheid begrensd is en beheerst kan worden door de magnitude van de steering coefficients.

Experimentele Resultaten
Het framework werd geëvalueerd op drie foundation modellen: Deepseek R1 14b, Qwen2.5-Coder 14b Instruct, en CodeLlama 13b Instruct, met behulp van een uitgebreide MBPP-dataset.

• Leesbaarheid Prestaties: Experimenten toonden een significante en stabiele toename in de waarschijnlijkheid dat modellen positieve antwoorden geven op leesbaarheid-gerelateerde queries (CD, NC, CC) naarmate de steering coefficients toenamen. De empirische resultaten kwamen nauw overeen met de theoretische ondergrenzen voorspeld door Stelling 2.
• Impact op Correctheid: Naarmate de steering strength toenam, vertoonden de prestaties van de modellen op code-correctheid queries een dalende trend. Deze daling bleef echter binnen de theoretische bovengrenzen vastgesteld door Stelling 3.
• Afweging Optimalisatie: De studie identificeerde specifieke coefficient combinaties die een gunstige balans bereikten. Zo verbeterde een specifieke configuratie met Deepseek R1 14b de leesbaarheid aanzienlijk, terwijl de correctheid slechts met 0,79% afnam. Vergelijkbare controleerbare afwegingen werden waargenomen voor de andere modellen, wat de mogelijkheid valideert om het systeem af te stemmen op specifieke applicatiebehoeften.

Kernbijdragen en Betekenis
Het artikel claimt de volgende bijdragen:

1. MRepE Framework: Een nieuw multitask steering framework dat gecoördineerde controle mogelijk maakt over meerdere code leesbaarheidsmetrieken (commentaardichtheid, naamgevingsconventies, cyclomatische complexiteit) zonder het model te hertrainen.
2. MOC-JPCA Algoritme: Een nieuw algoritme voor het extraheren van steering vectors dat multidimensionale orthogonaliteit afdwingt, waardoor wederzijdse interferentie tussen verschillende leesbaarheidsmetrieken effectief wordt onderdrukt en stabiele, complementaire steering bases worden geboden.
3. Theoretische Karakterisering: Een theoretische analyse die de afweging tussen code leesbaarheid en correctheid kwantificeert, waarbij ondergrenzen voor leesbaarheidswinsten en bovengrenzen voor correctheidsverliezen worden geboden.
4. Empirische Validatie: Uitgebreide experimenten over meerdere LLM's die aantonen dat MRepE de leesbaarheid consistent kan verbeteren terwijl de degradatie van de correctheid tot acceptabele niveaus wordt beperkt.

De betekenis van dit werk ligt in de verschuiving van single-task controle naar een multitask benadering voor codekwaliteit, waarmee wordt ingegaan op de subjectieve en multidimensionale aard van leesbaarheid. Door een lichtgewicht methode met lage data-afhankelijkheid (RepE) te bieden met theoretische garanties op de leesbaarheid-correctheid afweging, bieden de auteurs een praktisch mechanisme voor ontwikkelaars om door LLM gegenereerde code af te stemmen op specifieke menselijke voorkeuren en onderhoudseisen zonder de functionele betrouwbaarheid op te offeren.