From Untestable to Testable: Metamorphic Testing in the Age of LLMs

Titel: Van ontestbaar naar testbaar: Metamorfische Testen in het Tijdperk van LLM's

Auteur: Valerio Terragni (Universiteit van Auckland)
Publicatie: IEEE Computer Magazine (Software Engineering Column)

---

1. Het Probleem: De Oracle-uitdaging bij LLM's

Het artikel schetst de kritieke uitdaging bij het testen van software die is geïntegreerd met Large Language Models (LLM's). Hoewel LLM's krachtige tools bieden, zijn ze onbetrouwbaar (ze "hallucineren", tegenstrijdigheden vertonen en geven foutieve antwoorden met grote zekerheid).

De kern van het probleem ligt in het ontbreken van een testorakel (een mechanisme om te bepalen of een test geslaagd is of gefaald).

• Traditionele aanpak: Gebruik van gelabelde "ground truth"-data (bijv. menselijke annotatie van sentiment).
• De beperking: Voor LLM's is dit niet schaalbaar. Gedrag is extreem gevoelig voor formulering, en fouten kunnen subtiel en schaars zijn. Om vertrouwen te krijgen, zijn miljoenen inputs nodig, wat menselijke annotatie onmogelijk of onbetaalbaar maakt.
• Specifieke LLM-eigenschappen die het verergeren:
  1. Open-ended outputs (geen enkelvoudig correct antwoord).
  2. Meerdere geldige antwoorden per input.
  3. Hoge contextgevoeligheid.
  4. Niet-determinisme.

Daarnaast worden LLM-systemen vaak gebouwd zonder uitgebreide trainingsdatasets (via Few-shot learning of RAG), wat betekent dat er ook geen gelabelde testdata beschikbaar is.

2. Methodologie: Metamorfische Testen (MT)

De auteur introduceert Metamorfische Testing (MT) als oplossing voor het "Oracle-probleem". MT, oorspronkelijk ontwikkeld in 1998, verschuift de focus van het zoeken naar het juiste antwoord naar het controleren van de relatie tussen uitvoeringen.

• Kernconcept: In plaats van te vragen "Wat is het juiste antwoord?", vraagt MT: "Hoe zou het antwoord moeten veranderen (of gelijk blijven) bij een systematische wijziging van de input?"
• Metamorfische Relaties (MR's): Dit zijn verwachte relaties tussen input en output.
  • Formeel: Als input-relatie $R_i$ geldt, dan moet output-relatie $R_o$ ook gelden ($R_i \Rightarrow R_o$).
  • Voorbeeld: Als je een getal negatief maakt ($x \to -x$), moet het kwadraat hetzelfde blijven ($x^2 = (-x)^2$).
• Werking:
  1. Genereer een bron-input.
  2. Pas een transformatie toe om een vervolg-input te creëren (zodat de input-relatie geldt).
  3. Voer het systeem uit op beide inputs.
  4. Controleer of de output-relatie wordt geschonden.
• Schaalbaarheid: Eenmaal gedefinieerd, kan één MR worden toegepast op miljoenen automatisch gegenereerde testcases zonder extra ground-truth labels.

3. Belangrijkste Bijdragen en Onderzoek

De auteur en zijn groep hebben de meest uitgebreide studie tot nu toe uitgevoerd naar MT voor LLM's, bestaande uit:

• Systematische Review: Analyse van 1.024 papers om 191 MR's te extraheren voor 24 NLP-taken (zoals sentimentanalyse, vraag-antwoord, relatie-extractie).
• Implementatie: Ontwikkeling van het framework LLMORPH.
• Experiment: Uitvoering van ongeveer 560.000 metamorfische tests op drie populaire LLM's: GPT-4, LLAMA 3 en HERMES-2.

4. Resultaten

De resultaten tonen een gemengd beeld van kansen en waarschuwingen:

• Positief (Effectiviteit):

  • MT heeft succesvol defecten blootgelegd in alle drie de modellen.
  • Foutpercentages: Gemiddeld 18% over de 36 geïmplementeerde MR's, met pieken tot 80% voor specifieke relaties.
  • Verschillende MR's bleven effectief over meerdere taken heen (taalonafhankelijk).

• Negatief (Uitdagingen):

  • Valse Positieven: Taalambiguïteit maakt het moeilijk om fouten te vermijden. Transformaties kunnen onbedoeld de betekenis veranderen, of twee verschillende outputs kunnen beide acceptabel zijn.
  • Orakel-Complexiteit: Om te bepalen of outputs "hetzelfde" zijn, is vaak semantische vergelijking nodig (bijv. met BERT-similairiteitsscores), wat het orakel zelf complex maakt.
  • True Positive Rate: Bij handmatige analyse van 937 schendingen was de true positive rate ongeveer 62%. Dit is vergelijkbaar met traditionele MT voor NLP; LLM's maken het probleem niet erger, maar ook niet beter.

• Debugging Uitdaging: Bij een falende test is de oorzaak bij LLM's vaak niet direct te lokaliseren in de code. De oorzaak kan liggen in de modelparameters (getraind op onzichtbare data), wat vereist dat de "fix" gericht finetuning of prompt-engineering vereist in plaats van code-correctie.

5. Betekenis en Toekomstperspectief

Het artikel concludeert dat MT een van de scherpste tools is om LLM-gedrag op schaal te valideren, hoewel het geen wondermiddel is.

• Praktische aanbeveling: Teams die LLM's inzetten, zouden 5 tot 10 systeem-specifieke MR's moeten definiëren en integreren in CI/CD-pipelines. Dit biedt een goedkope, schaalbare manier om regressies en drift te detecteren bij model- of prompt-wijzigingen.
• Toekomstige kansen:
  • Code-generatie: Omdat code compileert of tests slaagt/falt, biedt dit minder ambiguïteit dan natuurlijke taal, wat de nauwkeurigheid van MR's kan verhogen.
  • Agentische AI-systemen: Nieuwe MR's voor systemen waarbij de volgorde van agent-acties de uitkomst niet mag beïnvloeden.
• Call to Action:
  • Practitioners: Wacht niet op de research community; begin nu met het implementeren van MR's.
  • Onderzoekers: Er liggen open problemen in het verbeteren van semantisch behoudende input-transformaties, betere output-vergelijkers, en automatische ontdekking van MR's.

Conclusie: Metamorfische Testing biedt een haalbare route om de "oracle-problematiek" van LLM's te omzeilen en is essentieel voor het betrouwbaar maken van de volgende generatie AI-gedreven software.