Search-Based Software Engineering and AI Foundation Models: Current Landscape and Future Roadmap

Dit artikel presenteert een onderzoeksroadmap voor Search-Based Software Engineering (SBSE) in het tijdperk van Foundation-modellen (FMs), waarbij de huidige landschap wordt geanalyseerd, open uitdagingen worden geïdentificeerd en toekomstige richtingen worden geschetst voor hun synergetische integratie om zowel SBSE als FMs te verbeteren.

De kern

Stel je voor dat je probeert een enorm, complex puzzel op te lossen. Je hebt twee krachtige hulpmiddelen om je te helpen: een super-slimme, creatieve assistent (een Foundation Model of AI) en een onvermoeibare, methodische ontdekkingsreiziger (Search-Based Software Engineering of SBSE).

Dit artikel is een routekaart geschreven door onderzoekers die willen uitzoeken hoe ze deze twee hulpmiddelen beter dan ooit tevoren kunnen laten samenwerken. Ze vragen zich af: "Hoe kunnen we de creativiteit van AI combineren met de precisie van zoekalgoritmen om betere software te bouwen?"

Hier is een eenvoudige uiteenzetting van hun reis:

1. De twee personages in ons verhaal

De Ontdekkingsreiziger (SBSE):
Zie SBSE als een zeer hardwerkende, logische robot. Zijn taak is het oplossen van problemen door miljoenen verschillende combinaties te proberen totdat hij de beste vindt.

• Hoe het werkt: Het is alsof een wandelaar probeert de hoogste top te vinden in een mistig berglandschap. De wandelaar zet een stap, controleert of hij hoger is, en als dat zo is, gaat hij door. Zo niet, dan probeert hij een andere richting.
• De Haken en Ogen: Om dit te doen, heeft de wandelaar een duidelijke kaart en een manier nodig om "hoogte" te meten. In software betekent dit dat het probleem makkelijk moet zijn te meten (bijvoorbeeld: "crasht deze code?"). Als het probleem vaag is (bijvoorbeeld: "is deze code makkelijk te lezen?"), raakt de robot in de war omdat hij het niet makkelijk kan meten. Ook kan de robot traag zijn als de berg te groot is.

De Creatieve Assistent (Foundation Modellen/AI):
Zie dit als een super-intelligente bibliothecaris die bijna alles wat ooit is geschreven heeft gelezen. Het kan verhalen schrijven, afbeeldingen tekenen en complexe instructies begrijpen.

• Hoe het werkt: Het gebruikt zijn enorme kennis om direct het beste antwoord te raden.
• De Haken en Ogen: Soms is het zelfverzekerd maar onjuist (zogenaamde "hallucinaties"). Het kan ook onvoorspelbaar zijn (op één dag geeft het een geweldig antwoord, de volgende dag een belachelijk). Het heeft bovendien veel elektriciteit en krachtige computers nodig om te draaien.

2. De drie manieren waarop ze samen kunnen werken

Het artikel stelt drie hoofdmanieren voor waarop deze twee personages elkaar kunnen helpen:

A. De Assistent helpt de Ontdekkingsreiziger (AI voor SBSE)

• Het Idee: De Creatieve Assistent kan de Ontdekkingsreiziger helpen bij het opzetten van de puzzel.
• Analogie: Stel je voor dat de Ontdekkingsreiziger probeert de beste route te vinden, maar niet weet hoe hij de kaart moet lezen. De Assistent leest de kaart, tekent het pad en schrijft zelfs de instructies voor de Ontdekkingsreiziger.
• Wat het artikel zegt: De AI kan helpen bij het ontwerpen van de "regels" voor de zoektocht, de code schrijven die de robot nodig heeft om te draaien, en zelfs de bevindingen van de robot in begrijpelijk Nederlands uitleggen zodat mensen ze kunnen begrijpen.

B. De Ontdekkingsreiziger helpt de Assistent (SBSE voor AI)

• Het Idee: De Ontdekkingsreiziger kan helpen bij het oplossen van de fouten van de Creatieve Assistent.
• Analogie: De Assistent schrijft een verhaal, maar er zitten wat plotgaten in. De Ontdekkingsreiziger treedt op als een strenge redacteur, die duizenden variaties van het verhaal test om de versie te vinden met de minste fouten en de beste flow.
• Wat het artikel zegt: De Ontdekkingsreiziger kan helpen bij het afstemmen van de AI om hem betrouwbaarder te maken, de beste "prompts" (instructies) vinden om aan de AI te geven, en de code die de AI schrijft testen om ervoor te zorgen dat het echt werkt.

C. De Perfecte Dans (Integratie)

• Het Idee: Ze werken in real-time samen.
• Analogie: De Assistent suggereert een creatief idee, en de Ontdekkingsreiziger test het direct. Als de Ontdekkingsreiziger zegt: "Dat werkt niet", probeert de Assistent direct een nieuw idee. Ze gooien ideeën heen en weer totdat ze de perfecte oplossing vinden.
• Wat het artikel zegt: Dit is de toekomst. Ze beginnen ze al te combineren voor dingen zoals het testen van zelfrijdende auto's en het oplossen van bugs, maar er is nog veel werk te doen om deze dans soepel te laten verlopen.

3. De hindernissen op de weg

De onderzoekers wijzen op enkele lastige plekken op de kaart:

• Het "Eerlijke Gevecht"-probleem: Hoe vergelijk je een robot die gratis op een laptop draait met een AI die draait op een gigantische, dure supercomputer? Het is alsof je een fiets vergelijkt met een straalvliegtuig. Het artikel zegt dat we nieuwe regels nodig hebben om ervoor te zorgen dat we ze eerlijk vergelijken (bijvoorbeeld door te tellen hoeveel energie ze verbruiken).
• Het "Kopieer-Plak"-probleem: Als je een commerciële AI gebruikt (zoals een betaalde chatbot), kan het bedrijf het morgen veranderen. Als je vandaag een experiment uitvoert, kun je het misschien volgende maand niet herhalen omdat de AI is veranderd. Dit maakt wetenschappelijk onderzoek moeilijk.
• Het "Zwarte Doos"-probleem: Soms geeft de AI een antwoord, maar weten we niet waarom. De Ontdekkingsreiziger moet het "waarom" begrijpen om het antwoord te vertrouwen.

4. De Toekomst (Kijkend naar 2030)

Het artikel gebruikt een speciaal raamwerk (McLuhan's Tetrad) om te raden hoe de toekomst eruitziet:

• Wat het verbetert: Het zal software-engineering veel sneller en makkelijker maken. Zelfs mensen die geen experts zijn, zouden complexe software kunnen bouwen door gewoon met de AI te praten.
• Wat het terugbrengt: Het brengt de "menselijke aanraking" terug. In plaats van complexe code te schrijven, kunnen mensen gewoon beschrijven wat ze willen in gewone taal.
• Wat het verouderd maakt: Sommige oude, handmatige manieren om softwaretests te ontwerpen of bugs op te lossen, kunnen verdwijnen omdat de AI ze automatisch kan doen.
• Wat het omkeert: Als we te veel op de AI vertrouwen, kunnen we vergeten hoe we problemen zelf moeten oplossen. We kunnen afhankelijk worden van het hulpmiddel en onze eigen vaardigheden verliezen.

5. Waar dit naartoe kan

Het artikel belicht enkele spannende nieuwe grenzen waar deze samenwerking kan plaatsvinden:

• Zelfrijdende Auto's: Het gebruik van de AI om complexe verkeerssituaties te begrijpen en de Ontdekkingsreiziger om miljoenen "wat-als"-scenario's te testen om ervoor te zorgen dat de auto veilig is.
• Robots: Robotten helpen om menselijke gebaren te begrijpen en ervoor te zorgen dat ze niets breken wanneer ze nieuwe taken proberen.
• Internet of Things (Slimme Huizen): Testen hoe duizenden verschillende slimme apparaten met elkaar communiceren zonder te crashen.
• Quantum Computing: Het gebruik van deze technieken om bij te dragen aan het bouwen van de software voor de supersnelle computers van de toekomst.

De Conclusie

Het artikel concludeert dat, hoewel AI (Foundation Modellen) momenteel de "ster" van de show is en Search-Based Engineering de "onbekende held", de echte magie gebeurt wanneer ze samenwerken. De onderzoekers hebben een kaart getekend voor de komende jaren, die ons laat zien waar we naar problemen moeten zoeken en hoe we deze twee krachtige hulpmiddelen kunnen combineren om betere, veiligere en slimmere software te bouwen.

Technische samenvatting

Technische Samenvatting: Zoekgebaseerde Software Engineering en AI Basismodellen

Probleemstelling

Zoekgebaseerde Software Engineering (SBSE) is ongeveer 25 jaar een onderzoeksgebied geweest, waarbij metaheuristische zoektechnieken succesvol zijn toegepast om software-engineeringproblemen (SE) gedurende de levenscyclus op te lossen. De snelle opkomst van Basismodellen (FMs) – met name Large Language Models (LLMs), Vision-Language Models (VLMs) en Multimodale Modellen (MMs) – heeft echter een ongedefinieerd landschap gecreëerd met betrekking tot de evolutie van SBSE. Hoewel FMs transformatieve capaciteiten bieden in het verwerken van multimodale data en het redeneren, blijft hun integratie met SBSE onderbelicht. Het kernprobleem dat wordt aangepakt, is het ontbreken van een gestructureerde routekaart die definieert hoe SBSE en FMs kunnen synergiseren, de specifieke uitdagingen bij hun integratie (zoals eerlijkheid en reproduceerbaarheid van empirische evaluatie), en het potentieel van FMs om traditionele SBSE-praktijken te verstoren.

Methodologie

Dit artikel presenteert geen nieuw empirisch algoritme of een specifieke experimentele studie. In plaats daarvan maakt het gebruik van een systematische literatuurstudie en conceptuele analyse om een onderzoeksroutekaart te construeren. De methodologie omvat:

1. Landschapsanalyse: Het beoordelen van de huidige state-of-the-art-onderzoeken om te identificeren hoe FMs momenteel worden gebruikt in SBSE en vice versa.
2. Categorisatie van Synergieën: Het structureren van de interactie tussen SBSE en FMs in drie kerndimensies:
   • Het gebruik van FMs om SBSE te versterken.
   • Het gebruik van SBSE om FMs vooruit te helpen.
   • Het integreren van SBSE en FMs voor bidirectionele interactie.
3. Toepassing van het Kader: Het gebruik van McLuhan's Tetrad (Versterken, Terughalen, Verouderen, Omkeren) om de verstorende effecten van FMs op de toekomst van SBSE te analyseren.
4. Kritische Beoordeling: Het identificeren van gaten in empirische evaluatiepraktijken, specifiek met betrekking tot eerlijkheid van middelen en reproduceerbaarheid bij het vergelijken van SBSE-technieken met commerciële FMs.

Belangrijkste Bijdragen

1. Een driedelige onderzoeksroutekaart

Het artikel formuleert een uitgebreide routekaart die is georganiseerd rond drie synergetische aspecten:

A. FMs voor SBSE (Versterken van SBSE)

• Ontwerpagtomatisering: FMs kunnen de definitie van fitnessfuncties, codering van oplossingen en definitie van zoekruimten automatiseren, waardoor de behoefte aan handmatige domeinkennis wordt verminderd.
• Generatie van Artefacten: FMs kunnen uitvoerbare testscripts genereren op basis van zoekgebaseerde testdata en gecodeerde SBSE-oplossingen interpreteren (bijvoorbeeld het converteren van binaire coderingen naar tekstuele vereisten of grafische modellen).
• Implementatie en Debugging: FMs kunnen helpen bij het genereren van gedeeltelijke of volledige SBSE-implementaties en het automatiseren van het debuggen/repareren van deze implementaties.

B. SBSE voor FMs (Vooruit helpen van FMs)

• Aanpakken van Beperkingen: SBSE-technieken (bijvoorbeeld evolutionaire algoritmen) kunnen worden toegepast om FM-beperkingen zoals non-determinisme, hallucinaties en onzekerheid te managen. Zo kunnen zoekalgoritmen promptruimten systematisch verkennen om hallucinaties op te sporen of hyperparameters te optimaliseren voor fine-tuning.
• Verfijning van Artefacten: SBSE kan door FMs gegenereerde artefacten verbeteren, zoals het verfijnen van door LLM gegenereerde code om compilerfouten te verhelpen, het optimaliseren van door LLM gegenereerde testcases voor dekking en diversiteit, en het valideren van door FM gegenereerde modellen.

C. Integratie van SBSE en FMs (Bidirectionele Synergie)

• Nieuwe Zoekoperatoren: FMs kunnen fungeren als zoekoperatoren (bijvoorbeeld crossover en mutatie) of fitnessfuncties binnen SBSE-lussen.
• Opkomende Domeinen: Het artikel benadrukt het potentieel voor het integreren van SBSE en FMs in complexe, multimodale domeinen zoals Autonome Rijsystemen (ADS), Robotica, AI-gemachtigde systemen, IoT en Quantum Computing.

2. Uitdagingen voor Empirische Evaluatie

Het artikel identificeert een kritiek gat in de manier waarop hybride SBSE-FM-technieken worden geëvalueerd. Het betoogt dat eerlijke vergelijkingen moeilijk zijn omdat:

• Dispariteit in Middelen: Commerciële FMs draaien op externe, high-end GPU's, terwijl SBSE vaak op lokale CPU's draait. Het vergelijken ervan zonder rekening te houden met energieverbruik en hardwarekosten is oneerlijk.
• Reproduceerbaarheid: Externe commerciële FMs veranderen in de tijd (FM-W4), wat studieherhaling onmogelijk maakt. De auteurs pleiten voor het gebruik van lokale, open-source FMs voor reproduceerbaar onderzoek, zelfs als commerciële modellen betere directe resultaten opleveren.
• Richtlijnen Nodig: De gemeenschap mist gestandaardiseerde richtlijnen voor eerlijke, middelenbewuste vergelijkingen van hybride technieken.

3. Toekomstperspectief (2030) via McLuhan's Tetrad

De auteurs passen McLuhan's Tetrad toe om de impact van FMs op SBSE te voorspellen:

• Versterkt: FMs versterken automatisering in SBSE-ontwerp (codering, fitnessfuncties) en maken multimodale probleemoplossing mogelijk (ADS, robotica).
• Terughalen: FMs halen mensgerichte interactie (natuurlijke taalinterfaces) en het creatieve/verkennende karakter van probleemoplossing terug, waardoor SBSE toegankelijker wordt voor niet-experts.
• Veroudert: Handmatige ontwerppraktijken (bijvoorbeeld handmatig coderen van fitnessfuncties) en eenvoudige zoekalgoritmen (bijvoorbeeld de Alternating Variable Method) kunnen verouderd raken naarmate FMs deze taken direct uitvoeren.
• Omkeert: Overmatige afhankelijkheid van FMs kan de focus omkeren van systematisch oplossingsontwerp naar prompt engineering, wat potentieel de ontwikkeling van nieuwe SBSE-algoritmen onderdrukt en leidt tot verlies van SBSE-expertise.

Resultaten en Aanspraken

Het artikel rapporteert geen experimentele resultaten (bijvoorbeeld "Algoritme X verbeterde de dekking met 15%"). In plaats daarvan zijn de "resultaten" de identificatie van onderzoeksmogelijkheden en open uitdagingen:

• Huidige Stand: Onderzoek wordt momenteel gedomineerd door LLMs; het potentieel van VLMs en MMs in SBSE is grotendeels onontgonnen.
• Gat-identificatie: Hoewel SBSE decennialang succesvol SE-problemen heeft aangepakt, blijft de praktische adoptie in de industrie beperkt in vergelijking met de wijdverbreide adoptie van FMs. Het artikel beweert dat het integreren van SBSE met FMs dit gat kan dichten door SBSE bruikbaarder en effectiever te maken voor abstracte problemen zoals vereistenanalyse.
• Betekenis: Het artikel beweert de eerste vooruitziende routekaart te zijn die specifiek ingaat op de synergie tussen SBSE en de bredere klasse van Basismodellen (niet alleen LLMs). Het onderscheidt zich van eerdere surveys door te focussen op de bidirectionele relatie en de specifieke uitdagingen van empirische evaluatie in deze nieuwe context.

Betekenis en Toon

De auteurs handhaven een motiverende maar voorzichtige toon. Ze erkennen dat FMs, hoewel verstorend, geen wondermiddel zijn. Het artikel benadrukt dat:

• SBSE rigoureuze, op optimalisatie gebaseerde benaderingen biedt die de stochastische en hallucinatiegevoelige aard van FMs kunnen mitigeren.
• FMs de contextuele begrip en multimodale capaciteiten bieden die traditionele SBSE mist.
• De toekomst van het vakgebied ligt in synergie, niet in vervanging.
• Er significant werk nodig is om eerlijke standaarden voor empirische evaluatie vast te stellen om wetenschappelijke strengheid te waarborgen naarmate het vakgebied evolueert.

Het artikel sluit af met een dringende oproep aan de onderzoeksgemeenschap om voorbij geïsoleerde experimenten te gaan en geïntegreerde kaders te ontwikkelen die de sterke punten van zowel SBSE als FMs benutten om complexe, real-world software-engineeringuitdagingen in opkomende domeinen op te lossen.