Technische Samenvatting: Specialisten of Generalisten? Multi-Agent en Single-Agent LLM's voor Essay-beoordeling

Probleemstelling

Geautomatiseerde systemen voor essay-beoordeling (Automated Essay Scoring, AES) vertrouwen steeds vaker op Large Language Models (LLM's), maar de literatuur biedt onduidelijkheid over hoe architecturale keuzes—specifiek de afweging tussen single-agent (monolithische) en multi-agent (hiërarchische) ontwerpen—de prestaties over verschillende kwaliteitsniveaus van essays beïnvloeden. Terwijl voorstanders beweren dat het opdelen van taken in gespecialiseerde rollen de interpreteerbaarheid en overeenstemming verbetert, blijft empirisch bewijs gemengd; sommige studies suggereren dat single-agent strategieën met few-shot prompting beter presteren dan complexe multi-agent workflows. Deze studie adresseert het gat in het begrip van hoe deze architecturen interageren met de kwaliteit van essays op een granulair niveau, en stelt de vraag of de verhoogde computationele kosten van multi-agent systemen gerechtvaardigd zijn over de gehele scoreverdeling.

Methodologie

De studie voerde een rigoureuze vergelijking uit tussen Single-Agent en Multi-Agent architecturen met behulp van de ASAP 2.0 corpus, een dataset van 24.278 brongebaseerde argumentatieve essays van Amerikaanse middelbare scholieren (groep 8 t/m de 10). De onderzoekers extraheerden een gestratificeerde testset van 450 essays en een aparte kalibratieset van 12 essays (2 voorbeelden per scoreniveau, 1–6).

Experimentele Opzet

Alle experimenten maakten gebruik van het GPT-5.1 model via de OpenAI API onder twee prompting-condities:

1. Zero-Shot: Het model ontving alleen de officiële rubric.
2. Few-Shot: Het model ontving de rubric plus de 12 kalibratievoorbeelden.

Architecturale Ontwerpen

• Single-Agent (Monolithisch): Het model fungeerde als de enige expert, ontving de volledige rubric en genereerde een holistische score (1–6) en rationale.
• Multi-Agent (Hiërarchisch): Dit systeem deelde de beoordeling op in drie Specialist Agents en één Chairman Agent:
  • Specialisten: Inhoud (ideeën/bewijs), Structuur (organisatie/coherentie) en Taal (mechanica/vocabulaire). Elke specialist werd geïnstrueerd via negatieve restricties om dimensies buiten hun domein te negeren.
  • Chairman Agent (Adjudicator): Ontving rapporten van specialisten en paste rubric-gealigneerde logica-gebaseerde heuristieken toe in plaats van eenvoudige middeling. Belangrijke regels waren onder meer:
    • Veto-regel: Als een specialist een score van 1 toekende, is de definitieve score 1.
    • Capping-logica: Als een specialist een 2 toekende, wordt de definitieve score begrensd op 2 of 3.

Evaluatiemetrieken

Prestaties werden gemeten tegen de menselijke grondwaarheid (ground truth) met behulp van Quadratic Weighted Kappa (QWK) om grote discrepanties te bestraffen en Exact Match Accuracy (het percentage voorspellingen dat exact overeenkomt met de menselijke scores).

Belangrijkste Resultaten

Algemene Prestaties

Het Multi-Agent systeem met Few-Shot prompting behaalde de hoogste algemene prestaties (QWK: 0,7453; Exact Match: 57,11%), waarmee het de Single-Agent Few-Shot baseline (QWK: 0,7165; Exact Match: 54,00%) met een kleine marge versloeg.

Impact van Few-Shot Kalibratie

Few-shot kalibratie bleek de dominante factor voor beide architecturen. Het verstrekken van slechts twee voorbeelden per scoreniveau verbeterde de QWK met ongeveer 26% voor beide systemen:

• Single-Agent: QWK steeg van 0,5664 (Zero-Shot) naar 0,7165.
• Multi-Agent: QWK steeg van 0,5917 (Zero-Shot) naar 0,7453.

Prestaties per Scoringsniveau

Granulaire analyse onthulde duidelijke sterktes en zwaktes:

• Essays van lage kwaliteit (Scores 1–2): Het Multi-Agent systeem presteerde significant beter dan het Single-Agent systeem. Voor Score 1 behaalde Multi-Agent Few-Shot een nauwkeurigheid van 73,3% tegenover 46,7% voor Single-Agent. Dit wordt toegeschreven aan de veto- en capping-regels van de Chairman Agent, die kritieke tekortkomingen in een enkele dimensie effectief bestraffen.
• Essays van gemiddelde kwaliteit (Scores 3–4): Het Single-Agent systeem vertoonde een superieur of competitief prestatiepatroon. Voor Score 4 behaalde Single-Agent Few-Shot een nauwkeurigheid van 61,2% vergeleken met 57,3% voor Multi-Agent. De auteurs suggereren dat het holistische perspectief van de single agent een impliciete compenserende scoring mogelijk maakt (het balanceren van sterktes en zwaktes) die specialistische agenten, beperkt door smalle domeinen, niet kunnen repliceren.
• Essays van hoge kwaliteit (Scores 5–6): Beide architecturen hadden hier aanzienlijke moeite mee. Voor Score 5 bereikten de beste configuraties slechts 30,8% nauwkeurigheid. Voor Score 6 (slechts 3 essays in de testset) identificeerden beide few-shot configuraties slechts 1 essay correct (33,3%). Het Multi-Agent systeem vertoonde een conservatieve bias en onderschatte vaak hoge scores door de capping-logica.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen aan het veld van AES en multi-agent LLM-systemen:

1. Empirische Vergelijking van Architecturen: Het biedt een granulaire analyse die aantoont dat de keuze voor een architectuur de prestatiepatronen fundamenteel vormgeeft op manieren die geaggregeerde metrieken (zoals de algehele QWK) maskeren. Het demonstreert dat geen enkele architectuur universeel domineert; ze vertonen eerder complementaire sterktes op basis van de kwaliteit van het essay.
2. Nieuw Multi-Agent Ontwerp: De studie introduceert een multi-agent framework dat domeindecompositie combineert met logica-gebaseerde aggregatieregels (veto en capping) die in lijn zijn met de officiële rubrics, waarmee het verder gaat dan eenvoudige stem- of middelingmechanismen.
3. Implementatieadvies: Het biedt praktische inzichten die aangeven dat few-shot kalibratie essentieel is voor beide architecturen, dat multi-agent systemen 4x hogere computationele kosten met zich meebrengen (vier API-calls per essay) voor slechts marginale winst, en dat beide systemen worstelen met uitzonderlijke essays.

Betekenis en Implicaties

De auteurs concluderen dat de keuze voor een architectuur gedreven moet worden door specifieke implementatieprioriteiten in plaats van enkel door algemene metrieken:

• Multi-Agent Systemen: Zijn het best geschikt voor diagnostische screening en het identificeren van risicovolle studenten (essays van lage kwaliteit) waarbij het detecteren van kritieke tekortkomingen essentieel is. Ze bieden ook een verbeterde interpreteerbaarheid door dimensie-specifieke feedback. Echter, ze brengen hogere kosten met zich mee en hebben een conservatieve bias tegen hoge scores.
• Single-Agent Systemen: Bieden een kosteneffectieve oplossing voor algemene beoordeling, met name voor essays van gemiddelde kwaliteit waar genuanceerde afwegingen bestaan. Ze zijn efficiënter, maar missen de diagnostische diepgang en robuustheid om laagwaardig werk te signaleren.

De studie benadrukt dat few-shot kalibratie een cruciale implementatievereiste is, waarbij wordt opgemerkt dat de substantiële prestatiewinsten door een klein aantal voorbeelden een noodzakelijke investering maken voor de effectiviteit van het systeem. Tot slot erkennen de auteurs beperkingen met betrekking tot de generaliseerbaarheid van de dataset en de noodzaak voor toekomstig onderzoek naar bias-mitigatie en de evaluatie van de interpreteerbaarheid van de multi-agent feedback.