On the Flakiness of LLM-Generated Tests for Industrial and Open-Source Database Management Systems

Technische Samenvatting: Over de instabiliteit van door LLM gegenereerde tests voor industriële en open-source databasebeheersystemen

Probleemstelling
Instabiele tests (flaky tests), die inconsistente resultaten produceren bij herhaalde uitvoering op dezelfde codestatus, vormen een aanzienlijke uitdaging in industrieel softwaretesten, wat de efficiëntie vermindert en het vertrouwen van ontwikkelaars ondermijnt. Hoewel recent werk heeft vastgesteld dat instabiliteit een potentieel probleem is bij door Large Language Models (LLM's) gegenereerde tests, blijven de prevalentie, de grondoorzaken en de mechanismen van instabiliteitsoverdracht in deze context onduidelijk. Deze studie adresseert de kloof in dedicated onderzoek naar de instabiliteit van door LLM gegenereerde tests, specifiek binnen de context van Database Management Systemen (DBMS), waar de betrouwbaarheid van tests cruciaal is voor zakelijke operaties.

Methodologie
De auteurs voerden een empirische studie uit met vier DBMS: het gesloten industriële systeem SAP HANA, en drie open-source systemen (MySQL, DuckDB en SQLite). De studie richtte zich op twee testtypen: native C++ unit tests en SQL systeemtests.

• Testgeneratie-aanpak: De onderzoekers adopteerden een testversterkingsstrategie geïnspireerd door Alshahwan et al. [5], waarbij LLM's werden geprompt om uitgebreide versies van bestaande testbestanden te genereren om extra randgevallen (corner cases) te dekken.
• Modellen: Twee LLM's werden geëvalueerd: GPT-4o (geselecteerd vanwege de hoge prestaties en het vermogen om interne SAP HANA-code te verwerken) en Mistral-Large-Instruct-2407 (geselecteerd als een open-source alternatief voor reproduceerbaarheid). Beide modellen werden gedraaid met een temperatuur van nul om de succespercentages van compilatie te maximaliseren.
• Executie-omgeving: Om instabiliteit veroorzaakt door de gegenereerde code te isoleren van omgevingsruis, werden de tests elk 30 keer uitgevoerd binnen geïsoleerde Docker-containers. C++ tests werden individueel uitgevoerd, terwijl SQL tests in bestellengte werden uitgevoerd om het ontwerp van de respectieve testframeworks te respecteren.
• Detectie van instabiliteit: Een test werd geclassificeerd als instabiel (flaky) als deze over de 30 executies zowel passerende als falende resultaten produceerde.
• Experiment naar instabiliteitsoverdracht: Om de vatbaarheid voor "instabiliteitsoverdracht" te beoordelen, injecteerden de auteurs een niet-deterministische assertie (die met 50% kans faalt) in bestaande testbestanden voordat ze de LLM's promptten om nieuwe tests te genereren.

Belangrijkste Bijdragen

1. Prevalentieanalyse: Een kwantitatieve beoordeling van het aandeel instabiele tests in door LLM gegenereerde code vergeleken met bestaande door mensen geschreven tests over vier DBMS.
2. Identificatie van Grondoorzaken: Een handmatige inspectie en categorisering van de grondoorzaken van instabiliteit in door LLM gegenereerde tests, waarbij onderscheid wordt gemaakt tussen problemen die voortkomen uit het generatieproces en problemen die zijn overgenomen uit de context.
3. Benchmark voor Instabiliteitsoverdracht: Een experimentele evaluatie van de mate waarin LLM's instabiele patronen uit verstrekte in-context voorbeelden overdragen naar nieuw gegenereerde code, waarbij de prestaties tussen closed-source (SAP HANA) en open-source (MySQL) contexten worden vergeleken.

Resultaten

• Compilatie en Succespercentages: LLM's hadden aanzienlijke moeite met het genereren van compileerbare C++ code voor het closed-source SAP HANA-project (Compilatie Succespercentage van ~40-46%), toegeschreven aan het gebrek aan trainingsdata van het model over de specifieke codebase. In tegen tegenstelling hiertoe vertoonde de SQL testgeneratie hoge succespercentages (81-95%).
• Prevalentie van Instabiliteit: Het aandeel instabiele tests in door LLM gegenereerde code was over het algemeen iets hoger dan in bestaande tests.
  • Voor C++ tests genereerde GPT-4o 0,29% instabiele tests voor SAP HANA en 0,18% voor MySQL, terwijl Mistral iets hogere percentages genereerde (respectievelijk 0,39% en 0,71%).
  • Voor SQL tests, waar geen bestaande instabiele tests in de originele suites werden gevonden, genereerden LLM's in totaal 96 instabiele tests (43 door GPT-4o, 53 door Mistral).
• Grondoorzaken: De meest voorkomende grondoorzaak van instabiliteit in door LLM gegenereerde tests was "Unordered Collection" (63% van de 115 instabiele tests). Dit gebeurde wanneer LLM's SQL-queries genereerden die een specifieke resultaatvolgorde veronderstelden zonder ORDER BY te gebruiken, wat leidde tot intermitterende fouten.
  • NIO (Non-Idempotent Outcome) instabiliteit was de tweede meest voorkomende oorzaak (10%), vaak het gevolg van het feit dat de LLM bestaande tests nabootste die de executie-omgeving vervuilden.
  • Concurrency problemen werden primair waargenomen in tests gegenereerd door Mistral.
• Instabiliteitsoverdracht: Beide LLM's toonden een vatbaarheid voor het overdragen van geïnjecteerde instabiliteit van de prompt-context naar gegenereerde tests.
  • In de SAP HANA context (closed-source, geen trainingsdata), was het overdrachtspercentage hoger (~69-78% van de gegenereerde tests bevatten de geïnjecteerde instabiele assertie).
  • In de MySQL context (open-source, waarschijnlijk aanwezig in de trainingsdata), was het overdrachtspercentage lager (~41-58%).
  • Dit suggereert dat LLM's meer vertrouwen op de verstrekte context wanneer ze een gebrek aan voorkennis over het systeem hebben, waarbij ze mogelijk spuriaat gecorreleerde verbanden (zoals instabiele asserties) als geldige programmeerpatronen adopteren.

Betekenis en Claims
Het artikel claimt de eerste toegewijde inzichten te bieden in de instabiliteit van door LLM gegenereerde tests voor databasesystemen. De auteurs concluderen dat hoewel LLM's natuurgetrouwe testcode kunnen genereren, ze specifieke risico's op instabiliteit introduceren, met name met betrekking tot ongeordende datastructuren en de overdracht van bestaande defecten.

De studie benadrukt dat instabiliteitsoverdracht een kritiek probleem is, vooral in closed-source omgevingen waar modellen een gebrek aan trainingsdata hebben en zwaar leunen op in-context leren. Daarom adviseren de auteurs praktijkgebruikers om prioriteit te geven aan het oplossen van bestaande instabiele tests voordat zij LLM-gebaseerde generatie-aanpakken toepassen om de propagatie van instabiliteit te voorkomen. Ze benadrukken ook de noodzaak om LLM's te voorzien van op maat gemaakte context om grondoorzaken zoals de aannames van "unordered collection" te mitigeren, waarbij zij opmerken dat huidige contextvensters mogelijk onvoldoende zijn voor grote systemen zoals SAP HANA. De bevindingen dienen als een waarschuwende baseline voor ontwikkelaars en onderzoekers die ernaar streven LLM's te integreren in geautomatiseerde testpipelines.