Technische Samenvatting: Voorbij de Prompt: Het Beoordelen van Domeinkennisstrategieën voor Hoogdimensionale LLM-optimalisatie in Software Engineering

Probleemstelling

Large Language Models (LLM's) hebben bewezen effectief te zijn in het genereren van "warm start"-samples voor software engineering (SE) optimalisatietaken, wat de benodigde budget voor labeling bij active learning aanzienlijk vermindert. Echter, er bestaat een kritische "dimensionale barrière": hoewel LLM's topprestaties leveren op laagdimensionale problemen (≤11 kenmerken), stort hun effectiviteit in bij hoogdimensionale problemen (>11 kenmerken), waar traditionele Bayesiaanse methoden (bijv. Gaussian Processes) superieur blijven.

Deze mislukking wordt toegeschreven aan beperkingen in de trainingsdata. LLM's blinken uit in veelvoorkomende problemen die goed vertegenwoordigd zijn in hun tekstuele trainingscorpora, maar ze worstelen met gespecialiseerde, hoogdimensionale SE-taken (bijv. cloudconfiguratie, aerospace softwareprocessen) waar publieke optimale oplossingen schaars zijn. Zonder voldoende trainingsdata kunnen LLM's de complexe interacties tussen kenmerken die karakteristiek zijn voor hoogdimensionale ruimtes niet leren. Bovendien suggereren projecties dat LLM's tegen 2028 de beschikbare tekstuele trainingsdata kunnen uitputten, waardoor data-arme optimalisatiedomeinen steeds kritischer worden. Het kernprobleem is bepalen hoe de systematische integratie van domeinkennis—of dat nu van menselijke experts of geautomatiseerd redeneren komt—deze kloof kan overbruggen en LLM's in staat kan stellen om effectieve warm starts te genereren voor hoogdimensionale optimalisatie.

Methodologie

De studie stelt vier verschillende architecturen voor en evalueert deze, die ontworid zijn om domeinkennis te integreren in LLM warm start-generatie. Deze benaderingen variëren van mensgericht tot volledig geautomatiseerde strategieën, geëvalueerd op de MOOT-repository van SE-optimalisatiedatasets, gestratificeerd naar dimensionaliteit (Laag: <6, Medium: 6–11 kenmerken, Hoog: >11 kenmerken).

1. Human-in-the-Loop Domain Knowledge Prompting (H-DKP)

Deze benadering maakt gebruik van menselijke experts om beperkingen iteratief te verifiëren en te verfijnen.

• Protocol: Een asynchrone, 10-daagse iteratieve verfijningssprint.
• Mechanisme: De LLM genereert een initiële "Belief State" van beperkingen. Experts bekritiseren deze via e-mail, waarbij de focus ligt op "Most Confusing Failures" (configuraties die de LLM als optimaal voorspelde, maar die slecht presteerden).
• Proces: Experts beantwoorden een specifieke vraag: "Welke domeinregel mist het model die deze fout verklaart?" Hun feedback wordt geparsed en toegevoegd aan de prompt-context voor de volgende dag, waardoor het mentale model van de LLM over het domein evolueert.
• Beperking: Werving is beperkt tot datasets waar Subject Matter Experts (SME's) toegankelijk zijn via het academische netwerk van de auteurs.

2. Adaptive Multi-Stage Prompting (AMP)

Deze methode deelt het generatieproces op in een sequentieel redeneerpipeline om logische inconsistenties te verminderen die gebruikelijk zijn bij single-shot prompting.

• Fase 1 (Analyse): De LLM analyseert metadata en few-shot voorbeelden om invloedrijke kenmerken, trade-offs en verbeterrichtingen te identificeren.
• Fase 2 (Constraint Discovery): Het model leidt expliciete harde beperkingen (onveranderlijke regels) en zachte beperkingen (heuristieken) af.
• Fase 3 (Constrained Generation): De LLM genereert configuraties die strikt voldoen aan de ontdekte beperkingen en geprioriteerde kenmerken.
• Fase 4 (Self-Validation): De LLM fungeert als criticus, waarbij gegenereerde configuraties wordt getoetst aan de set beperkingen en overtredingen worden herzien.
• Ablatie: De studie test 2-staps, 3-staps en volledige 4-staps pipelines om de impact van elke redeneerstap te isoleren.

3. Dimension-Aware Progressive Refinement (DAPR)

Deze benadering pakt de hoogdimensionale complexiteit aan door te optimaliseren in gereduceerde kenmerkruimtes en dimensies progressief uit te breiden.

• Kenmerk-ranking: Kenmerkbelang wordt berekend via een ensemble van Spearman-coëfficiënt, mutual information en Random Forest importance, genormaliseerd en gemiddeld.
• Progressieve Expansie: Het algoritme initialiseert met de top $k$ kenmerken. Het prompt de LLM om configuraties te genereren met enkel deze kenmerken.
• Verankering (Anchoring): Gegenereerde voorbeelden worden gemapt naar de dichtstbijzijnde buren in de volledige dataset voor evaluatie. De beste configuratie wordt bijgehouden, waarna de kenmerkruimte wordt uitgebreid door de volgende $s$ belangrijkste kenmerken toe te voegen, verankerd aan de waarden van de huidige beste configuratie.
• Doel: Om de LLM door de zoekruimte te leiden en te voorkomen dat deze direct overweldigd wordt door de volledige dimensionaliteit.

4. Hybrid Knowledge-Model Approach (HKMA)

Deze strategie synthetiseert statistische verkenning met Retrieval-Augmented Generation (RAG) om zowel datagedreven patronen als semantisch begrip te benutten.

• Fase 1 (Statistical Scouting): Een Tree-structured Parzen Estimator (TPE) voert een snelle, laag-budget verkenning uit ($B_{scout}=10$) om hoogpresterende regio's te identificeren.
• Fase 2 (Empirical Priors): De distributie van de best presterende configuraties wordt geanalyseerd om "Empirical Priors" (bijv. directionele trends, randvoorwaarden) te extraheren.
• Fase 3 (RAG Synthese): Deze priors dienen als queries om relevante domeindocumentatie en academische literatuur uit een vector store op te halen.
• Generatie: De LLM wordt geprompt om configuraties te synthetiseren die zowel voldoen aan de geobserveerde statistische bewijslast als aan de opgehaalde semantische verklaringen.

Evaluatiemetrieken en Baselines

• Baselines: Random Sampling, Gaussian Process Model (UCB_GPM), en Standard LLM Warm Start (few-shot prompting met 4 voorbeelden).
• Primaire Metriek: Chebyshev-afstand tot de optimale oplossing (genormaliseerd naar [0,1]), wat de nabijheid tot het theoretische optimum meet.
• Secundaire Metrieken: Gegenereerde voorbeeld-diversiteit (Average Pairwise Euclidean Distance) en Computationele Kosten (API-tokens).
• Statistische Analyse: Resultaten worden gerangschikt met behulp van de Scott-Knott Effect Size Difference (ESD) test met Cliff's Delta om te waarborgen dat verschillen statistisch significant én praktisch betekenisvol zijn.

Belangrijkste Bijdragen

1. Identificatie van de Dimensionale Barrière: Het artikel documenteert systematisch de prestatie-instorting van LLM's op hoogdimensionale SE-optimalisatietaken (>11 kenmerken), in contrast met hun succes op laagdimensionale taken.
2. Taxonomie van Kennisintegratie: Het stelt vier complementaire strategieën voor (H-DKP, AMP, DAPR, HKMA) voor het injecteren van domeinspecifieke kennis in LLM's, bewegend van human-in-the-loop naar volledig geautomatiseerde hybride modellen.
3. Methodologische Kaders:
   • Een asynchroon iteratief protocol voor het extraheren van impliciete expertkennis (H-DKP).
   • Een multi-stage redeneerpipeline om naleving van beperkingen af te dwingen (AMP).
   • Een progressief verfijningsalgoritme om hoogdimensionale zoekruimtes te navigeren (DAPR).
   • Een hybride framework dat statistische verkenning combineert met semantische retrieval (HKMA).
4. Rigoureus Evaluatieplan: De studie schetst een uitgebreid evaluatieplan met behulp van de MOOT-repository, gestratificeerd naar dimensionaliteit, met robuuste statistische toetsing (Scott-Knott/Cliff's Delta) om verbeteringen ten opzichte van gevestigde baselines te valideren.

Resultaten

Opmerking: Omdat dit een voorstel is (zoals aangegeven door de secties "Research Questions", "Analysis Plan" en "Execution Plan"), bevat het geen definitieve experimentele resultaten of empirische conclusies over welke methode het best presteerde.

Het artikel schetst het plan om deze methoden te evalueren tegen de "dimensionale barrière". Het hypotheseert dat:

• Menselijke feedback (H-DKP) statistisch significante winst zal opleveren ten opzichte van geautomatiseerde methoden, vooral in domeinen met schaarse publieke data.
• Gestructureerd redeneren (AMP) en progressieve verfijning (DAPR) de prestatie-instorting bij hoogdimensionale taken zullen mitigeren vergeleken met standaard single-shot prompting.
• De hybride benadering (HKMA) effectief de kloof zal overbruggen tussen het semantische begrip van de LLM en de kwantitatieve precisie van Bayesiaanse methoden.

De studie stelt expliciet dat menselijke studies zullen voldoen aan de regels van de Institutional Review Board en dat de H-DKP-analyse beperkt zal blijven tot datasets waar de werving van experts succesvol is zonder uitval.

Betekenis en Claims

Het artikel claimt dat geen enkel voorgaand werk systematisch heeft onderzocht of het injecteren van domeinspecifieke kennis de beperkingen van LLM's in hoogdimensionale, data-arme optimalisatiedomeinen kan overwinnen.

De betekenis van dit werk ligt in het potentieel om:

• Het Nut van LLM's te Vergroten: LLM's in staat te stellen effectief te fungeren als heuristische gidsen voor optimalisatie in complexe, real-world SE-taken (bijv. softwareconfiguratie, hyperparameter tuning) waar ze momenteel falen.
• Data-schaarste Aan te Pakken: Een pad te bieden voor optimalisatie in domeinen waar publieke trainingsdata uitgeput of niet-bestaand is, een kritiek punt gezien de projecties van de uitputting van LLM-trainingsdata tegen 2028.
• Kosten te Verlagen: Strategieën aan te bieden voor het genereren van hoogwaardige warm starts met minimale executiekosten, waarmee de even dure kosten voor het verkrijgen van ground truth labels in software engineering worden aangepakt.
• Mens en AI te Verbinden: Aan te tonen hoe menselijke impliciete kennis systematisch geïntegreerd kan worden met AI om problemen op te lossen die noch door de mens, noch door de AI alleen opgelost kunnen worden, waarbij men verder gaat dan de discussie of LLM's "ondersteunend" of "autoritair" zijn, naar een model waarbij ze fungeren als begeleide optimizers.

De auteurs hanteren een bescheiden standpunt door hun werk te kaderen als een beoordeling van strategieën om te bepalen of gestructureerde kennisintegratie effectieve warm starts mogelijk maakt, in plaats van te claimen dat er al een definitieve oplossing is gevonden.