Moderne vliegtuigen vertrouwen op software om alles te beheren, van vluchtcontroles tot missieplanning. Deze code is veiligheidskritisch, wat betekent dat een enkele fout catastrofale gevolgen kan hebben. Daarom moeten ingenieurs deze programma's rigoureus testen om ervoor te zorgen dat ze correct functioneren onder elke mogelijke conditie. Een grote uitdaging bij dit testen is dat de software werkt in complexe, verschuivende toestanden. Bijvoorbeeld, een commando om de vluchtmodus te wijzigen is mogelijk alleen geldig als het vliegtuig zich in een specifieke geactiveerde staat bevindt en het batterijniveau voldoende is. Traditionele testmethoden worstelen hier vaak mee omdat ze de invoergegevens behandelen als een eenvoudige stroom van willekeurige veranderingen. Wanneer deze willekeurige veranderingen worden toegepast op gestructureerde gegevens, schenden ze echter vaak de regels van het formaat of negeren ze de huidige staat van het systeem, waardoor de test faalt voordat deze zelfs maar de diepe, verborgen paden kan bereiken waar bugs zich kunnen verschuilen.

Onderzoekers van de Northwestern Polytechnical University en de Civil Aviation University of China hebben een nieuwe aanpak ontwikkeld om dit probleem op te lossen. Ze hebben een systeem ontwikkeld dat kunstmatige intelligentie gebruikt om hoogwaardige testgevallen te genereren die specifiek zijn ontworpen voor luchtvaartsoftware. In plaats van gegevens blindelings te muteren, begrijpt hun methode eerst de structuur van de invoer en de huidige staat van de systemen van het vliegtuig. Vervolgens gebruiken ze twee verschillende soorten machine learning-modellen die samenwerken om nieuwe testsituaties te creëren die zowel structureel geldig als contextueel passend zijn. De onderzoekers hebben dit systeem getest op zes verschillende modules van een echt vluchtcontrolesysteem. Ze ontdekten dat hun methode meer verborgen executiepaden ontdekte en meer van de code dekte dan standaard testtools, terwijl er minder computerbronnen voor nodig waren.

De kern van deze nieuwe methode ligt in de manier waarop de gegevens worden gerepresenteerd. Invoer voor luchtvaartsoftware bestaat niet uit willekeurige reeksen getallen; ze zijn georganiseerd in specifieke blokken, zoals een raster waarbij elke rij een stap in een sequentie vertegenwoordigt en elke kolom een specifiek stuk informatie, zoals een commando, een modusinstelling of een sensorwaarde. De onderzoekers hebben hun testgegevens in dit rasterformaat georganiseerd. Ze extraheerden ook een samenvatting van de operationele staat van het vliegtuig — zoals of het systeem geactiveerd is, in welke modus het zich bevindt of of er actieve fouten zijn — en zetten dit om in een compacte vector van informatie. Deze vector fungeert als een set regels of beperkingen voor het generatieproces, wat ervoor zorgt dat elke nieuwe testcase die wordt gemaakt, de huidige staat van het systeem respecteert.

Om nieuwe testgevallen te genereren, maakt het systeem gebruik van een tweeledige architectuur. Het eerste deel is een variational autoencoder, die fungeert als een generator van diversiteit. Het leert de onderliggende patronen van succesvolle testgevallen uit de gegevens die het heeft gezien. In plaats van alleen oude voorbeelden te kopiëren, creëert het een continue ruimte van mogelijkheden waaruit het nieuwe variaties kan bemonsteren. Cruciaal is dat dit gebeurt terwijl de operationele staatvector constant wordt gehouden. Dit betekent dat het veel verschillende structurele variaties van een testgeval kan produceren die allemaal binnen dezelfde specifieke staatcondities passen, zoals "geactiveerd en in kruisvluchtmodus". Hierdoor kan het systeem veel verschillende paden verkennen zonder per ongeluk de staatregels te breken die de software vereist.

Het tweede deel van het systeem is een Transformer-model, een type neuraal netwerk dat bekend staat om zijn vermogen om relaties tussen verschillende delen van een sequentie te begrijpen. In deze context bekijkt het het volledige raster van gebeurtenissen en velden tegelijkertijd. Het begrijpt dat een commando dat aan het begin van een sequentie wordt verzonden, compatibel moet zijn met een statusvlag die aan het einde wordt ingesteld. Het systeem gebruikt een speciaal poortmechanisme (gating mechanism) om de staatbeperkingen van het eerste deel te mengen met de diverse variaties van het tweede deel. Dit zorgt ervoor dat de uiteindelijke output een volledig, samenhangend testgeval is waarbij elk veld zinvol is in relatie tot de anderen en de algehele staat. Het model genereert het volledige testgeval in parallel, in plaats van byte voor byte te raden, wat helpt om de structurele integriteit van de gegevens te behouden.

De onderzoekers evalueerden hun methode met behulp van de commander-module van het PX4 flight-control system, een veelgebruikte open-source autopilot. Ze vergeleken hun aanpak met een standaard coverage-guided fuzzer, die vertrouwt op willekeurige mutaties, en een generative adversarial network, een ander type AI-model dat vaak wordt gebruikt voor het genereren van gegevens. De resultaten toonden aan dat hun VAE-Transformer-methode de anderen consequent overtrof. Op de commander-module verhoogde het de edge coverage met ongeveer 4,9 procentpunt, de line coverage met 5,1 procentpunt en de branch coverage met 4,6 procentpunt in vergelijking met de standaard fuzzer. Belangrijker nog, het bereikte deze hogere niveaus van dekking met ongeveer 9,6 procent minder computationele inspanning, gemeten in het aantal keren dat de software moest worden uitgevoerd.

Dit voordeel was niet beperkt tot een enkele module. Het team testte het systeem op zes verschillende controlelogica-modules, waaronder missiebeheer, gezondheidsbewaking en veiligheidsherstel-systemen. Over alle zes de doelwitten heen ontdekte de nieuwe methode aanzienlijk meer unieke executiepaden en dekte het meer regels code dan de vergelijkingsmethoden. Bijvoorbeeld, op de mission manager-module vond het 77 meer unieke paden dan de op één na beste methode. Het systeem demonstreerde ook een consistenter vermogen om in de loop van de tijd nieuwe paden te vinden, terwijl de andere methoden vaak een plateau bereikten waarbij ze stopten met het ontdekken van nieuwe code. De onderzoekers merkten op dat de methode bijzonder effectief was in het navigeren door de complexe staatafhankelijkheden die kenmerkend zijn voor vluchtcontrolesoftware, waarbij de geldigheid van een invoer vaak afhangt van een precieze combinatie van timing, waarden en systeemstaten.

De studie omvatte ook experimenten om te bepalen welke delen van het systeem het belangrijkst waren. Wanneer de onderzoekers de variational autoencoder of de Transformer-component verwijderden, daalde de prestatie, wat aangeeft dat beide delen noodzakelijk waren voor de beste resultaten. Evenzo, wanneer ze het adaptieve poortmechanisme vervingen door eenvoudigere methoden om informatie te combineren, werd het systeem minder efficiënt in het vinden van nieuwe paden. Dit suggereert dat de specifieke manier waarop het model de staatbeperkingen met willekeurige diversiteit balanceert, een sleutelfactor is in het succes. De onderzoekers concludeerden dat hun aanpak een haalbare manier biedt om het testen van high-assurance software te automatiseren, waardoor zowel de grondigheid van het testen als de efficiëntie waarmee het wordt uitgevoerd, wordt verbeterd.

Hoewel de resultaten veelbelovend zijn, erkennen de auteurs dat hun methode is ontworpen voor inputs met een vaste lengte en duidelijke veldgrenzen, wat gebruikelijk is in veel vluchtcontrolesystemen maar niet voor alle systemen. Ze suggereren dat toekomstig werk variabel-lengte protocollen en complexere interactiebeperkingen zal moeten adresseren. Desalniettemin demonstreert de studie dat door het combineren van een begrip van systeemstaten met geavanceerde generatieve modellen, het mogelijk is om testgevallen te creëren die veel effectiever zijn in het blootleggen van verborgen defecten dan traditionele willekeurige methoden. Deze aanpak biedt een nieuw instrument voor het waarborgen van de veiligheid en betrouwbaarheid van de software die moderne vliegtuigen in de lucht houdt.