EnsemJudge: Enhancing Reliability in Chinese LLM-Generated Text Detection through Diverse Model Ensembles

Probleemstelling

Grote Taalmodellen (LLMs) genereren steeds meer mensachtige teksten, wat leidt tot risico's zoals het verspreiden van nepnieuws, academische fraude en desinformatie. Hoewel er methoden bestaan om door LLMs gegenereerde tekst te detecteren, zijn deze vaak beperkt door:

1. Taalbias: Het merendeel van het onderzoek is gericht op Engelse teksten; methoden presteren vaak slecht op Chinese tekst.
2. Generalisatieproblemen: Bestaande methoden (zowel trainingsgebaseerd als trainingsvrij) kampen met een gebrek aan robuustheid bij out-of-domain data en adversarial attacks (zoals parafraseren of het verkorten van teksten).
3. Eenzijdigheid: Geen enkele bestaande methode is optimaal voor alle teksttypes of scenario's. Rule-based methoden zijn kwetsbaar voor veranderingen, terwijl trainingsgebaseerde methoden overfitten op specifieke datasets.

Methodologie: EnsemJudge

De auteurs stellen EnsemJudge voor, een robuust ensemble-framework dat specifiek is ontworpen voor Chinese tekst. Het systeem combineert diverse detectiemethoden via een dynamische stemmechanisme.

1. Basiscomponenten (Base Models):
Het framework integreert een breed scala aan bestaande detectiemethoden, gecategoriseerd als:

• Rule-based: Detectie van specifieke patronen (bijv. dubbele regeleinden, veelvoorkomende zinsdelen).
• Trainingsvrij (Training-free): Methoden zoals Binoculars, Fast-DetectGPT en een zelfontwikkelde CommonToken-methode (gebaseerd op token-frequentiestatistieken).
• Trainingsgebaseerd (Training-based): Fine-tuning van Chinese modellen (RoBERTa, BERT) en instructie-tuning van LLMs (Qwen, GLM) via LoRA. Ook hybride modellen die features van verschillende methoden combineren.

2. Architectuur van het Framework:

• Strategie-toewijzingsmodule (Strategy Assignment Module):
  • Voer een clustering uit op lichtgewicht tekstkenmerken (bijv. tekstlengte, perplexiteit).
  • Voor elke cluster (teksttype) wordt een specifieke subset van basismodellen geselecteerd en worden unieke stemgewichten toegewezen. Dit zorgt ervoor dat het systeem de sterktes van specifieke modellen benut voor het specifieke type invoer.
• Beslissingsondersteuningsmodule (Decision Support Module):
  • Voor onzekere gevallen (waar de stemscore dicht bij de drempel ligt) wordt een grote LLM ingezet via In-Context Learning (ICL). Deze LLM fungeert als een "rechter" om de voorspelling te verfijnen, bijvoorbeeld door te controleren op back-translation (vertalen naar Engels en terug naar het Chinees).
• Dynamische Stemmodule (Dynamic Voting Module):
  • Berekent een gewogen som van de voorspellingen van de geselecteerde modellen, gecombineerd met eventuele aanpassingen van de ondersteuningsmodule, om de finale voorspelling te genereren.
• Beslissende Aanpassingsmodule (Decisive Adjustment Module):
  • Voert laatste checks uit op zeer specifieke, onderscheidende kenmerken (hoewel de auteurs merken dat dit bij een goed ontworpen ensemble vaak overbodig is).

3. Data Augmentatie:
Om robuustheid te testen, hebben de auteurs adversarial voorbeelden gegenereerd, waaronder:

• Back-translation: Tekst vertalen naar een andere taal en terug.
• Tekstexcerptie: Het verkorten van teksten om de prestaties op korte teksten te testen.

Belangrijkste Bijdragen

1. Evaluatie van Chinese LLM-detectie: Een uitgebreide analyse van de prestaties van mainstream detectiemethoden op Chinese data, met inachtneming van adversarial scenario's.
2. EnsemJudge Framework: Een nieuw ensemble-systeem dat dynamisch stemstrategieën toepast op basis van tekstkenmerken, waardoor het de zwaktes van individuele modellen compenseert.
3. Systeemimplementatie en Prestaties: De ontwikkeling van een volledig werkend detectiesysteem dat de eerste plaats behaalde in de NLPCC2025 Shared Task 1.

Resultaten

Het systeem werd getest op de officiële testset van NLPCC2025, die bestaat uit normale data, adversarial attacks (mixing, parafraseren, perturbatie) en variërende tekstlengtes.

• Algemene Prestatie: EnsemJudge behaalde een Macro F1-score van 0,9922 op de totale testset, wat aanzienlijk hoger is dan alle baselines.
• Normale Data: Op niet-geadverteerde data behaalde het systeem een perfecte score van 1,000.
• Robuustheid:
  • De fine-tuned Qwen2.5-modellen bleken zeer resistent tegen attacks (minder dan 1% daling bij mixing/perturbatie).
  • Trainingsvrije methoden zoals Binoculars leden zware verliezen (>50% daling) bij parafraseren, maar EnsemJudge compenseerde dit door de dynamische weging.
  • De CommonToken-methode presteerde verrassend goed bij parafraseren en perturbatie.
• Invloed van Tekstlengte: De prestaties verbeteren over het algemeen met de lengte, maar EnsemJudge gebruikte gespecialiseerde modellen voor korte teksten ("extreme short text") om de dalingen bij korte inputs te mitigeren (tot 46,8% verbetering ten opzichte van standaardmodellen op korte teksten).

Betekenis en Conclusie

Dit paper demonstreert dat er geen "one-size-fits-all" oplossing bestaat voor het detecteren van LLM-gegenereerde tekst, vooral niet in complexe scenario's zoals het Chinees. De kernboodschap is dat adaptieve ensemble-methoden essentieel zijn voor betrouwbare detectie.

EnsemJudge bewijst dat door het dynamisch toewijzen van gewichten aan verschillende modellen op basis van de invoer, men een systeem kan bouwen dat zowel nauwkeurig als robuust is tegen manipulatie. Dit biedt een praktische basis voor toekomstige implementaties in real-world toepassingen, met name voor talen die minder goed vertegenwoordigd zijn in het huidige onderzoek (zoals het Chinees).