LLMORPH: Automated Metamorphic Testing of Large Language Models

Titel: LLMORPH: Geautomatiseerde Metamorfische Testen van Grootte Taalmodellen (LLMs)

Auteurs: Steven Cho, Stefano Ruberto, en Valerio Terragni (Universiteit van Auckland & JRC Europese Commissie).
Publicatie: ASE 2025 (40e IEEE/ACM International Conference on Automated Software Engineering).

1. Het Probleem: Het "Oracle"-probleem bij LLMs

Hoewel Large Language Models (LLMs) uitstekende prestaties leveren in natuurlijke taalverwerking (NLP), blijven zorgen over hun betrouwbaarheid (bijv. bias, hallucinaties) een groot probleem. Een van de grootste uitdagingen bij het automatisch testen van LLMs is het oracle-probleem: het onderscheid maken tussen een correcte en een incorrecte uitvoering.

• Huidige situatie: Het genereren van testinput is relatief eenvoudig vanwege de overvloed aan tekstdata. Het controleren of de output correct is, vereist echter vaak menselijk gelabelde data (ground truth) om als "oracle" te fungeren.
• Beperking: Het handmatig creëren van gelabelde datasets is tijdrovend, kostbaar en schaalt niet goed. Er is een dringende behoefte aan methoden die de kwaliteit van output kunnen evalueren zonder afhankelijk te zijn van menselijke labels.

2. Methodologie: Metamorfische Testen (MT)

Het paper introduceert LLMORPH, een geautomatiseerd testtool dat Metamorfische Testen (MT) toepast om het oracle-probleem op te lossen.

• Principe van MT: In plaats van te eisen dat de exacte output voor elke testcase bekend is, gebruikt MT Metamorfische Relaties (MR's). Een MR definieert een verwachte relatie tussen de output van een broninput en de output van een afgeleide (follow-up) input.
• Werkingswijze:
  1. Een broninput wordt gegenereerd.
  2. Een transformatie wordt toegepast op basis van een specifieke MR om een follow-up input te creëren (bijv. het toevoegen van willekeurige spaties, het herschrijven van een zin, of het toevoegen van een zin).
  3. De LLM wordt uitgevoerd op zowel de bron- als de follow-up input.
  4. De outputs worden vergeleken. Als de verwachte relatie (bepaald door de MR) wordt geschonden, wordt een fout gedetecteerd.
• Voordeel: Dit maakt het mogelijk om fouten te vinden zonder dat de "juiste" antwoord bekend hoeft te zijn.

3. De Tool: LLMORPH

LLMORPH is een Python 3-tool die is ontworpen voor onderzoekers en ontwikkelaars om de robuustheid van LLM-systemen te verifiëren.

• Architectuur:
  • Input: De tool accepteert een LLM (via API of lokaal), een lijst met tekstuele inputs, taak-prompten (voor NLP-taken) en een selectie van MR's.
  • Ondersteunde Taken: Context-gebaseerd Vragen Beantwoorden (QA), Natuurlijke Taal Inference (NLI), Sentimentanalyse (SA) en Relatie-extractie (RE).
  • Implementatie: De tool gebruikt de openai bibliotheek voor communicatie, sentence_transformers voor semantische vergelijkbaarheid en nlpaug voor input-transformaties.
  • Flexibiliteit: MR's kunnen worden geïmplementeerd via traditionele functies of via "few-shot" prompts aan een LLM. Nieuwe taken en relaties kunnen eenvoudig worden toegevoegd via JSON-configuratiebestanden.
• Output: Een JSON-rapport met de bron- en follow-up inputs/outputs en een indicatie of de MR is geschonden.

4. Belangrijkste Bijdragen

1. Eerste Uitgebreide Tool voor LLM-MT: LLMORPH is een van de eerste tools die MT systematisch toepast op LLMs voor diverse NLP-taken.
2. Catalogus van MR's: Gebaseerd op een eerder systematisch literatuuronderzoek (1.024 papers), hebben de auteurs een catalogus van 191 unieke MR's samengesteld. LLMORPH implementeert momenteel 36 van deze MR's.
3. Schaalbaarheid en Geen Labels: De tool maakt het mogelijk om testen uit te voeren op grote schaal met ongelabelde data, wat de kosten en de tijd voor testing drastisch verlaagt.
4. Open Source: De broncode is beschikbaar gesteld, wat de gemeenschap in staat stelt om de tool uit te breiden met nieuwe MR's en taken.

5. Evaluatie en Resultaten

De auteurs hebben LLMORPH getest op drie state-of-the-art LLMs: GPT-4, LLAMA3 en HERMES 2, over vier benchmarks (SQUAD2, SNLI, SST2, RE-DOCRED).

• Schaal: Er zijn in totaal 561.267 testexecuties uitgevoerd.
• Effectiviteit: LLMORPH bleek zeer effectief in het blootleggen van defecte gedragingen, met een gemiddelde faalratio van 18%.
• Complementair: De methode vult traditionele testen met gelabelde data aan; MT ontdekte bugs die door traditionele methoden niet werden gevonden.
• Foutpositieven: Een handmatige analyse van 937 schendingen toonde aan dat de rate van foutpositieven varieerde van 0% tot 70%, afhankelijk van de MR en de taak. Dit wordt toegeschreven aan de inherente beperkingen van MT in NLP (bijv. semantische nuances), maar is vergelijkbaar met traditionele MT-resultaten.
• Snelheid: De evaluatie per input was snel, voornamelijk beperkt door de responstijd van 2-3 LLM-calls per broninput.

6. Betekenis en Toekomstperspectief

Het paper benadrukt dat, ondanks de enorme investeringen in LLMs, het gebruik van Metamorfische Testen in dit domein nog onderontwikkeld is.

• Significantie: LLMORPH biedt een fundamentele basis voor het onderzoeken van MT voor LLMs en lost het kritieke oracle-probleem op door ongelabelde data te gebruiken.
• Toekomst: De tool is modulair ontworpen. De auteurs nodigen de gemeenschap uit om de tool uit te breiden met meer van de 191 geïdentificeerde MR's en nieuwe NLP-taken, waardoor de robuustheid van LLM-systemen verder kan worden verbeterd.

Conclusie: LLMORPH is een krachtig, schaalbaar en kostenefficiënt instrument dat de betrouwbaarheid van LLMs verbetert door geautomatiseerde testen mogelijk te maken zonder de noodzaak van dure, menselijk gelabelde datasets.