From Brittle to Robust: Improving LLM Annotations for SE Optimization

Probleemstelling

Software Engineering (SE) data-analyse is vaak afhankelijk van gelabelde data. Het handmatig labelen door experts is echter tijdrovend, duur en vatbaar voor fouten. Hoewel Large Language Models (LLMs) worden ingezet als automatische "orakels" om labels te genereren, blijken ze in eerdere studies (zoals Ahmed et al., MSR 2025) kwetsbaar ("brittle") te zijn, vooral bij hoogdimensionale multi-objectieve optimalisatieproblemen.

In deze context moeten meerdere, vaak tegenstrijdige doelen tegelijkertijd worden geoptimaliseerd (bijv. snelheid vs. energieverbruik, of features vs. kosten). Eerdere onderzoekers vonden dat LLMs wel goed presteerden bij laagdimensionale taken, maar faalden bij complexe, hoogdimensionale problemen. Ze produceerden vaak hallucinaties, toonden onterecht vertrouwen in foutieve antwoorden, of leverden generieke oplossingen die niet pasten bij de specifieke constraints van het probleem. De kernvraag was: hoe kunnen we LLMs betrouwbaar maken voor het genereren van "warm starts" (initiële labels) voor actieve leerprocessen in deze complexe domeinen?

Methodologie: SynthCore

De auteurs stellen SynthCore voor, een nieuwe prompt-strategie die de beperkingen van enkele LLM-antwoorden overwint door gebruik te maken van een ensemble van "few-shot learners".

Kernprincipes van SynthCore:

1. Ensemble van Onafhankelijke Opvattingen: In tegenstelling tot methoden zoals Chain-of-Thought (CoT) of Multi-Agent Debate, waarbij modellen met elkaar communiceren of redeneringsstappen delen, genereert SynthCore meerdere onafhankelijke antwoorden. Elke prompt-sessie heeft geen kennis van de resultaten van de andere sessies.
2. Variatie in Context: Het systeem voert $M$ herhalingen uit van een $N$-shot learning taak. Bij elke herhaling wordt de context van de LLM gereset en worden willekeurige voorbeelden (seeds) uit de dataset gebruikt. Dit dwingt het model om diverse perspectieven te genereren in plaats van vast te komen zitten in één redeneerpad.
3. Synthese in plaats van Consensus: Waar methoden zoals Self-Consistency proberen de meest voorkomende (gemiddelde) antwoorden te vinden door te stemmen, behandelt SynthCore de variatie als een zoekproces. Het verzamelt alle gegenereerde kandidaten en sorteert deze op basis van een externe objectiviteitsfunctie (in dit geval de Chebyshev-afstand naar het ideale punt). Het doel is niet de "veiligste" optie, maar de beste "uitbijter" (outlier) te vinden die de optimalisatiedoelen het beste benadert.
4. Implementatie: De methode is eenvoudig: het is een wrapper rond een standaard few-shot prompt. Het proces labelt eerst $L$ willekeurige rijen, en herhaalt vervolgens $M$ keer het genereren van een betere synthetische rij op basis van die labels. De beste gevonden rij uit deze $L + M \times N$ pogingen wordt geselecteerd.

Experimenteel Opzet:

• Dataset: 49 SE multi-objectieve optimalisatietaken uit de MOOT-repository (Multi-Objective Optimization Testing), variërend van configuratie van Makefiles en database-instellingen tot hyperparameter-optimalisatie.
• Dimensionaliteit: De datasets werden ingedeeld in laag ($|x| < 6$), medium ($6 \le |x| \le 11$) en hoog ($|x| > 11$) dimensionaal.
• Vergelijking: SynthCore werd vergeleken met state-of-the-art symbolische methoden zoals Gaussian Process Models (GPM) met Upper Confidence Bound (UCB), Tree-structured Parzen Estimators (TPE), en traditionele actieve leermethoden (exploitatie en exploratie).
• Meting: De prestaties werden gemeten aan de hand van de Chebyshev-afstand tot het ideale punt (maximalisatie van voordelen, minimalisatie van nadelen).

Belangrijkste Bijdragen

1. Nieuwe Prompt-strategie: Introductie van SynthCore, een ensemble-methode die LLMs behandelt als een verzameling zwakke maar diverse leerlingen in plaats van één orakel.
2. Overtuigende Resultaten op Hoge Dimensies: Het weerleggen van het eerdere pessimistische beeld dat LLMs falen bij hoogdimensionale SE-taken. SynthCore slaagt erin om deze beperking te doorbreken.
3. Uitgebreide Validatie: Testen op 49 diverse datasets, wat een robuust bewijs levert voor de generaliseerbaarheid van de methode.
4. Open Science: Alle data, scripts en reproduceerbare resultaten zijn openbaar beschikbaar gesteld.

Resultaten

De experimenten leverden de volgende bevindingen op:

• Superieure Prestaties: SynthCore presteerde consistent beter dan alle andere methoden (GPM, TPE, en eerdere single-shot LLM-methoden) op alle 49 datasets.
• Oplossing voor Hoge Dimensies: Waar eerdere studies lieten zien dat LLMs faalden bij hoogdimensionale data (Table 7 in het artikel toonde dat single-shot LLMs slechts 53% van de tijd de beste rang haalde, terwijl GPM 100% haalde), behaalde SynthCore in hoogdimensionale scenario's (Table 10) een rang 0-score van 71%, significantly outperforming de symbolische baselines (UCB GPM: 68%).
• Efficiëntie: Hoewel LLM-prompting rekenkracht kost, bleek een budget van ongeveer 20 labels (warm starts) voldoende om de beste resultaten te bereiken. Verdere vergroting van het budget leverde geen statistisch significante verbeteringen op, maar verhoogde wel de rekentijd.
• Zonder Menselijke Interventie: Alle labels die werden gebruikt voor het trainen en evalueren van de modellen waren gegenereerd door de LLM; er was geen menselijke annotatie nodig om de resultaten te bereiken.

Betekenis en Conclusie

Het artikel biedt een paradigmaverschuiving in hoe LLMs moeten worden ingezet binnen Software Engineering:

• Van "Orakel" naar "Zaadbak": LLMs moeten niet worden gezien als bronnen van één correct antwoord, maar als generatoren van een divers zoekruimte. Door meerdere onafhankelijke "mutaties" (prompt-varianties) te genereren en de beste te selecteren, kunnen ze robuuste oplossingen vinden die een enkel model zou missen.
• Praktische Toepasbaarheid: SynthCore is eenvoudig te implementeren, vereist geen fijnafstelling (fine-tuning) en werkt goed in budget-beperkte omgevingen. Het fungeert als een "versterker" voor menselijke experts, waarbij de LLM een groot aantal kandidaten filtert tot een kleine, hoogwaardige set die de mens alleen nog hoeft te valideren.
• Toekomstperspectief: De methode suggereert dat andere succesvolle few-shot prompting resultaten snel kunnen worden verbeterd door deze ensemble-aanpak. Het opent de deur voor het gebruik van LLMs in complexe, hoogdimensionale optimalisatietaken waar menselijke expertise schaars is.

Kortom, SynthCore transformeert LLMs van kwetsbare, eenzame annotatoren naar robuuste, samenwerkende componenten in geautomatiseerde SE-pipelines.