An Empirical Study of Interaction Smells in Multi-Turn Human-LLM Collaborative Code Generation

Deze empirische studie introduceert een taxonomie van 'interaction smells' in multi-turn mens-LLM-codegeneratie, analyseert hun verdeling over zes modellen en stelt een nieuw multi-agent framework genaamd InCE voor om deze kwaliteitsproblemen te verminderen en het succespercentage te verhogen.

De kern

De "Geur van een Slecht Gesprek": Waarom AI-programmeersessies soms vastlopen

Stel je voor dat je samenwerkt met een zeer slimme, maar soms wat vergeetachtige assistent om een complexe machine te bouwen. Je geeft instructies, hij bouwt een onderdeel, jij geeft feedback, en hij past het aan. In theorie klinkt dit als een perfecte samenwerking. Maar in de praktijk, vooral met de huidige AI's (Large Language Models of LLMs), loopt het vaak mis.

Dit onderzoek van Zhang en collega's kijkt naar die frustrerende momenten. Ze noemen deze problemen "Interaction Smells" (Interactiegeurtjes). Net zoals een huis een "geur" kan hebben die aangeeft dat er iets mis is (bijvoorbeeld mufheid of een lekkage), heeft een gesprek met een AI soms een "geur" die aangeeft dat de samenwerking vastloopt, zonder dat de code per se direct fout is.

Hier is een simpele uitleg van wat ze hebben ontdekt, met behulp van alledaagse vergelijkingen:

1. Het Probleem: De "Vergeetachtige Architect"

De onderzoekers hebben duizenden echte gesprekken tussen mensen en AI's geanalyseerd. Ze ontdekten dat AI's goed zijn in het schrijven van losse stukjes code, maar slecht in het onthouden van de context tijdens een lang gesprek.

Ze hebben een lijst van negen "geurtjes" gemaakt die de kwaliteit van het gesprek bederven. Hier zijn de belangrijkste, vertaald naar alledaagse situaties:

• Het Vergeten van Belangrijke Regels (Must-Do Omission):

  • Vergelijking: Je vraagt je kok om een taart te bakken en zegt: "Gebruik geen suiker." De volgende keer vraagt je hem om de taart te versieren, en hij vergeet de suiker-vrije regel en strooit er suiker overheen.
  • In de AI: De AI vergeet eerdere instructies (zoals "gebruik geen bepaalde bibliotheek" of "de code moet in een specifiek formaat zijn") zodra er een nieuwe vraag komt. Dit was het meest voorkomende probleem in hun studie.

• Het Breken van Wat Al Werkte (Partial Functionality Breakdown):

  • Vergelijking: Je hebt een auto die perfect rijdt. Je vraagt je monteur om alleen de radio te vervangen. Hij doet dit, maar per ongeluk verwijdert hij ook de motor. De radio werkt nu, maar de auto rijdt niet meer.
  • In de AI: De AI probeert een nieuwe functie toe te voegen, maar breekt daarbij per ongeluk code die eerder al goed werkte.

• Terugvallen in de Fout (Code Rollback):

  • Vergelijking: Je hebt een fout in je brief opgemerkt en de schrijver heeft die gecorrigeerd. Als je vraagt om een tweede zin toe te voegen, schrijft de schrijver de hele brief opnieuw, inclusief de oude fout die je al had laten corrigeren.
  • In de AI: De AI "vergeet" dat een fout al is opgelost en introduceert diezelfde fout opnieuw in een nieuw antwoord.

• De Gebroken Telefoon (Cross-Turn Inconsistency):

  • Vergelijking: Je vraagt aan een gids: "Is deze brug open?" Hij zegt "Ja". Een minuut later, zonder dat er iets is veranderd, zegt hij: "Nee, die brug is gesloten."
  • In de AI: De AI geeft tegenstrijdige feiten over dezelfde code in opeenvolgende antwoorden.

2. De Onderzoek: Wie ruikt er het slechtst?

De onderzoekers hebben zes populaire AI-modellen getest (zoals GPT-4o, DeepSeek, en verschillende Qwen-modellen). Ze lieten ze complexe taken uitvoeren in meerdere rondes.

De bevindingen:

• Alle modellen ruiken: Zelfs de slimste AI's hebben last van deze "geurtjes".
• Het grootste probleem: Het vergeten van verplichte regels (Must-Do Omission) was overal het grootste probleem.
• Geen winnaar: Hoewel sommige modellen iets beter waren dan anderen, kon geen enkel model perfect onthouden wat er eerder gezegd was in een lang gesprek.

3. De Oplossing: De "InCE" Framework

Om dit op te lossen, hebben de onderzoekers een nieuwe methode bedacht genaamd InCE (Invariant-aware Constraint Evolution).

Stel je voor dat je een tweede assistent hebt die alleen maar luistert naar de regels en de "grote lijn", maar niet zelf de taart bakt.

• De Regelbewaarder (Invariant Extraction Module): Deze assistent houdt een lijstje bij van alle belangrijke regels die je hebt gegeven ("Geen suiker", "Gebruik blauwe verf"). Hij zorgt dat deze lijst bij elke nieuwe stap naar voren wordt gehaald, zodat de hoofdaI ze niet vergeet.
• De Kwaliteitscontroleur (Proactive Smell Detector): Voordat de hoofdaI iets gaat schrijven, kijkt deze controleur: "Hebben we nu een tegenstrijdigheid? Vergeten we een oude regel?" Als dat zo is, corrigeert hij het voordat de fout gebeurt.

Het resultaat:
Met deze extra "wachtende assistent" werkten de AI's veel beter. Ze maakten minder fouten, onthielden hun regels en bereikten hun doel sneller. Het was alsof je een projectmanager toevoegt aan een team van slimme, maar vergeetachtige vakmensen.

Conclusie

Dit onderzoek laat zien dat het probleem bij AI-programmeren niet alleen ligt in het schrijven van code, maar in het samenwerken in een gesprek. AI's zijn vaak te gefocust op de laatste zin die je schreef en vergeten de hele context.

De boodschap is duidelijk: Om AI echt goed te laten samenwerken met mensen, moeten we systemen bouwen die actief zorgen dat de "regels van het spel" niet vergeten worden, net zoals een goede projectmanager dat doet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "An Empirical Study of Interaction Smells in Multi-Turn Human-LLM Collaborative Code Generation" in het Nederlands.

Titel: Een Empirisch Onderzoek naar Interactiegeuren in Multi-Turn Mens-LLM Samenwerking voor Codegeneratie

1. Het Probleem

Grote Taalmodellen (LLMs) hebben de codegeneratie getransformeerd van statische hulpmiddelen naar dynamische, conversatie-gebaseerde interfaces. Hoewel LLMs uitstekend zijn in het genereren van losstaande codefragmenten, worstelen ze vaak met het behoud van contextuele consistentie tijdens uitgebreide, multi-turn interacties.

Bestaande benchmarks richten zich voornamelijk op de functionele correctheid van de uiteindelijke output (bijv. pass@k), maar negeren de kwaliteitsproblemen die zich tijdens het interactieproces voordoen. De auteurs definiëren deze latenten obstakels die de samenwerking verstoren als "Interaction Smells" (Interactiegeuren). Deze geuren leiden tot:

• Terugval in eerder opgeloste fouten.
• Verlies van historische instructies.
• Onderbreking van de ontwikkelaarsflow.
• Functionele regressies.

Er is een gebrek aan systematisch empirisch onderzoek naar de aard, distributie en mitigatie van deze specifieke interactieproblemen in real-world scenario's.

2. Methodologie

Het onderzoek volgt een drie-staps empirische aanpak:

A. Dataverzameling en Preprocessing:

• Datasets: Gebruik van real-world datasets WildChat en LMSYS-Chat-1M.
• Filtering: Een regelgebaseerde aanpak en few-shot prompting werden gebruikt om alleen coderingsgerelateerde, single-topic multi-turn gesprekken te isoleren.
• Resultaat: Een geconsolideerde dataset van 66.371 gesprekslogs (waarvan 19.507 multi-turn).

B. Taxonomie-ontwikkeling (RQ1):

• Methode: Open kaartsortering (Open Card Sorting) uitgevoerd door een team van experts (PhD's in Software Engineering) en studenten.
• Proces: Handmatige analyse van 378 geselecteerde multi-turn voorbeelden om patronen van falen te identificeren.
• Output: De eerste systematische taxonomie van "Interaction Smells".

C. Kwantitatieve Evaluatie (RQ2):

• Modellen: Evaluatie van zes mainstream LLMs (GPT-4o, DeepSeek-Chat, Gemini 2.5, Qwen2.5-32B/72B, Qwen3-235B-a22b).
• Framework: Uitbreiding van WildBench met een "User Simulator" (GPT-4) om iteratieve instructies en feedback te genereren, en een "Evaluation Oracle" om de code te beoordelen.

D. Mitigatie en Validatie (RQ3):

• Oplossing: Voorstellen en testen van een nieuw framework genaamd InCE (Invariant-aware Constraint Evolution).
• Validatie: Vergelijking van de prestaties van "Vanilla" modellen versus modellen versterkt met InCE.

3. Belangrijkste Bijdragen

A. Taxonomie van Interactiegeuren
De auteurs hebben een hiërarchisch raamwerk ontwikkeld met drie hoofdcategorieën en negen subcategorieën:

1. Kwaliteit van Gebruikersintentie:
   • Ambiguous Instruction: Vage instructies met meerdere interpretaties.
   • Incomplete Instruction: Ontbrekende kritieke specificaties.
2. Naleving van Historische Instructies:
   • Must-Do Omission: Het negeren van expliciete, verplichte eisen uit eerdere rondes (bijv. specifieke formatteerregels).
   • Must-Not Violate: Het overtreden van verboden instructies (bijv. het gebruik van verboden bibliotheken).
3. Schending van Historische Responsen:
   • Signature Mismatch: Functies aanroepen met verkeerde parameters die niet overeenkomen met eerdere definities.
   • Cross-Turn Inconsistency: Feitelijke tegenstrijdigheden tussen huidige en vorige antwoorden.
   • Partial Functionality Breakdown: Het breken van eerder werkende code bij het toevoegen van nieuwe functies.
   • Code Rollback: Terugkeren naar een eerdere, foutieve staat die al was opgelost.
   • Repetitive Response: Het herhalen van eerdere antwoorden zonder toegevoegde waarde.

B. Empirische Distributie
De studie toont aan dat Must-Do Omission (het vergeten van verplichte eisen) en Partial Functionality Breakdown (het breken van bestaande functionaliteit) de meest voorkomende problemen zijn, zelfs bij state-of-the-art modellen. Interessant genoeg is het begrijpen van de intentie (Ambiguous/Incomplete Instruction) minder vaak het probleem; de uitdaging ligt in het behoud van context en consistentie.

C. Het InCE Framework (Invariant-aware Constraint Evolution)
Om deze problemen op te lossen, stellen de auteurs een multi-agent framework voor dat bestaat uit twee modules:

1. Invariant Extraction Module (IEM): Extrahert en onderhoudt een lijst van "globale invarianten" (permanente constraints) uit de dialogen. Dit voorkomt dat belangrijke eisen verloren gaan door "attention dilution" in lange contexten.
2. Proactive Smell Detector (PSD): Fungeert als een auditor voordat de code wordt gegenereerd. Het controleert de huidige intentie tegen de invariantenlijst en detecteert potentiële geuren (zoals tegenstrijdigheden of ontbrekende stappen) om regressies te voorkomen.

4. Resultaten

• Distributie: De analyse van de zes modellen bevestigt dat interactiegeuren wijdverspreid zijn. Must-Do Omission varieerde van 50% (DeepSeek) tot 78,65% (Gemini 2.5 Flash). Repetitive Response was ook hoog (tot 39,50% bij Qwen2.5-32B).
• Effectiviteit van InCE:
  • Task Success Rate (TSR): InCE verbeterde de succesratio voor 5 van de 6 modellen. GPT-4o steeg met 5,00% en Gemini 2.5 Flash met 6,67%.
  • Mitigatie van Geuren: InCE verlaagde de prevalentie van kritieke geuren aanzienlijk:
    • Must-Do Omission daalde met ongeveer 8-13% bij verschillende modellen.
    • Repetitive Response daalde met tot wel 13,5% (bij Gemini 2.5), wat leidde tot efficiëntere conversaties.
  • Efficiëntie: Hoewel het gemiddelde aantal rondes tot succes (ATS) licht toenam bij sommige modellen (door het oplossen van complexere taken die eerder faalden), toonde Gemini 2.5 Flash een verbetering in zowel succes als snelheid, wat aantoont dat het framework nutteloze loops kan doorbreken.

5. Betekenis en Conclusie

Dit onderzoek verschuift de focus van puur output-gebaseerde evaluatie naar proces-georiënteerde kwaliteitsborging in mens-LLM samenwerking.

• Praktische Richtlijnen: De auteurs bieden drie ontwerprichtlijnen voor toekomstige systemen:
  1. Expliciete Constraint-beheer: Invarianten moeten los van de conversatiegeschiedenis worden bewaard en herhaaldelijk ingebracht.
  2. Beperkte Wijzigingsautoriteit: Modellen moeten duidelijk weten welke delen van de code ze mogen aanpassen om destructieve updates te voorkomen.
  3. Pre-Generatie Detectie: Systemen moeten potentiële fouten detecteren voordat code wordt gegenereerd.

De studie concludeert dat het oplossen van "Interaction Smells" cruciaal is voor het realiseren van betrouwbare, schaalbare AI-gestuurde softwareontwikkeling, en dat het InCE-framework een effectieve, lichtgewicht oplossing biedt om de robuustheid van multi-turn interacties te verhogen.