Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content

Technische Samenvatting: Het onderscheid tussen kunstmatig en authentiek: Het evalueren van LLM's voor het detecteren van door LLM gegenereerde inhoud

Probleemstelling
Nu Large Language Models (LLM's) alomtegenwoordig worden in educatieve omgevingen voor het genereren van code en natuurlijke taalreacties, is er een kritieke behoefte om AI-gegenereerd werk te onderscheiden van authentieke studentenbijdragen. Hoewel bestaande detectiemethoden (bijv. watermerken, statistische classificaties) bestaan, lijden deze vaak aan instabiliteit, inconsistentie of een gebrek aan toegankelijkheid. Bov�its is er beperkt empirisch onderzoek naar de effectiviteit van het gebruik van LLM's zelf om hun eigen output te detecteren over diverse typen educatieve taken heen, waarbij specifal wordt gekeken naar hoe de prestaties variëren tussen programmeren, reflectief schrijven en korte antwoorden.

Methodologie
De auteurs voerden een evaluatie uit met behulp van gegevens van een introductiecursus programmeren aan de Universiteit van Auckland. De dataset bestond uit authentieke studentenbijdragen van vier verschillende oefeningen:

1. Reflectie: Een taak waarbij studenten reflecteren op de overgang van MATLAB naar C (n=846).
2. Programmeren 1: Een oefening met loops en arrays in C (n=201).
3. Programmeren 2: Een string-matching oefening in C (n=870).
4. Kort Antwoord: Een eenzinsantwoord over code-leesbaarheid (n=854).

Om AI-gegenereerde inhoud te simuleren, gebruikten de auteurs GPT-4o om 100 synthetische reacties te genereren voor elke oefening onder drie verschillende prompting-condities:

• Baseline: Directe instructie om reacties te genereren.
• Persona: Instructie om een student in een introductiecursus na te bootsen.
• Adversarial/Ruis: Voor tekstuele taken bevatten de prompts instructies om typefouten en informele taal toe te voegen; voor programmeertaken bevatten de prompts instructies om beginnerfouten en slechte stijl te introduceren.

Detectieprotocol
De gegenereerde reacties en de authentieke studentenbijdragen werden geëvalueerd door een LLM die fungeert als detector. De detector werd op twee manieren geprompt:

1. Waarschijnlijkheid: Het produceren van een percentage dat de waarschijnlijkheid aangeeft dat de tekst door een LLM is gegenereerd.
2. Binair: Het produceren van een "ja" of "nee" classificatie.
   Elke reactie werd 10 keer geëvalueerd om variabiliteit te bepalen. De studie analyseerde reactielengtes, gemiddelde waarschijnlijkheidsscores en ranggebaseerde scheidbaarheid met behulp van Mann–Whitney U-testen en Cliff's delta effectgroottes.

Belangrijkste Resultaten
De studie laat zien dat de prestaties van LLM-zelfdetectie sterk taakafhankelijk zijn:

• Programmeeropdrachten: Detectie was robuust. Door een LLM gegenereerde code kreeg significant hogere "LLM-waarschijnlijkheidsscores" dan authentieke studentencode (bijv. een gemiddelde waarschijnlijkheid van ~80–91% voor de LLM versus ~59–73% voor studenten). Het introduceren van beginnerfouten of slechte stijl verminderde de detecteerbaarheid niet significant; in sommige gevallen vergrootte het zelfs de scheiding tussen AI- en menselijke output.
• Reflectief Schrijven: Detectie was over het algemeen effectief voor baseline- en persona-prompts, waarbij LLM-outputs hogere waarschijnlijkheidsscores ontvingen dan studentenwerk. Het introduceren van typefouten en informele taal verminderde echter de scheidbaarheid aanzienlijk, waardoor de LLM-outputs dichter bij de authentieke studentenreacties kwamen te liggen.
• Korte Antwoorden: Dit type taak vormde een faalmodus voor detectie. In tegen tegenstelling tot andere taken ontvingen authentieke studentenreacties hogere waarschijnlijkheidsscores dan door een LLM gegenereerde reacties. De detector beoordeelde korte, door AI gegenereerde antwoorden vaak als menselijker dan de werkelijke studentenbijdragen.
• Promptgevoeligheid: De framing van de prompt had een significante invloed op de uitkomsten. Terwijl de detectie van programmeren relatief stabiel bleef over verschillende variaties in prompts, was de tekstuele detectie zeer gevoelig. Specifiek zorgden "typefout"-prompts in reflectieve taken voor een drastische verlaging van de detectie-accuratesse.
• Reactielengte: Door een LLM gegenereerde reacties waren consistent langer dan authentieke studentenbijdragen in alle categorieën. De auteurs merken op dat lengte als een detecteerbaar signaal kan dienen, met name voor tekstgebaseerde taken, maar dat dit de omkering verklaart die werd waargenomen bij korte antwoorden.

Belangrijkste Bijdragen

1. Taakspecifieke Effectiviteit: Het artikel levert empirisch bewijs dat LLM-zelfdetectie geen uniforme capaciteit is. Het is zeer betrouwbaar voor gestructureerde domeinen zoals programmeren en langere vrije tekst, maar presteert slecht bij korte, beperkte natuurlijke taaltaken.
2. Impact van Prompt en Ruis: De studie kwantificeert hoe specifieke generatiestrategieën (bijv. het toevoegen van typefouten of bugs) de detecteerbaarheid beïnvloeden, waarbij wordt aangetoond dat terwijl structurele kenmerken in code veerkrachtig zijn, stilistische wijzigingen in tekst de AI-oorsprong gemakkelijk kunnen maskeren.
3. Identificatie van Faalmodi: Het onderzoek benadrukt een specifiek scenario (korte antwoorden) waar LLM-detectoren systematisch AI-inhoud als menselijk classificeren en menselijke inhoud als AI, wat de betrouwbaarheid van huidige zelfdetectie-benaderingen in deze contexten uitdaagt.

Betekenis en Claims
De auteurs concluderen dat hoewel LLM-gebaseerde detectie potentieel heeft voor specifieke educatieve contexten (met name programmeren en reflectieve essays), het niet betrouwbaar is als een standalone hulpmiddel voor beslissingen over academische integriteit. De bevindingen suggereren dat detectiecapaciteiten niet uniform overdraagbaar zijn naar verschillende beoordelingsformaten. Het artikel pleit voor voorzichtigheid en merkt op dat het vertrouwen op LLM's voor detectie bijzonder riskant is in omgevingen die gedomineerd worden door korte, formuleuze reacties, waar de technologie systematische fout-positieven voor menselijk werk en fout-negatieven voor AI-werk kan produceren. De studie benadrukt dat de effectiviteit van detectie afhangt van het type taak, het ontwerp van de prompt en de kenmerken van de reactie, in plaats van een inherente, universele eigenschap van de modellen te zijn.