AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

Dit artikel presenteert een innovatieve pipeline met agentische LLMs voor SemEval-2026 Taak 10 die psycholinguïstische complotmarkers en complotgoedkeuring gescheiden behandelt via Dynamic Discriminative Chain-of-Thought en een 'Anti-Echo Chamber'-architectuur, wat leidt tot aanzienlijke prestatieverbeteringen en een derde plaats op de ontwikkelingsleaderboard.

Panagiotis Alexios Spanakis, Maria Lymperaiou, Giorgos Filandrianos, Athanasios Voulodimos, Giorgos Stamou

Gepubliceerd 2026-03-06
📖 5 min leestijd🧠 Diepgaand

Each language version is independently generated for its own context, not a direct translation.

AILS-NTUA bij SemEval-2026: Hoe een digitaal leger van AI-agenten samenzweringen ontmaskert

Stel je voor dat je op een groot, druk online forum zit (zoals Reddit). Iedereen praat over vanalles. Soms zijn het normale nieuwsberichten, soms zijn het grappen, en soms zijn het mensen die echt geloven dat de wereld wordt bestuurd door een geheime groep reptielen.

Het probleem voor computers is: Hoe weet je het verschil?
Een simpele computer kijkt alleen naar woorden. Als hij woorden ziet als "geheim", "regering" en "plan", denkt hij direct: "Samenzwering!". Maar dat is niet altijd waar. Soms zegt een nieuwsjournalist: "De regering beweert dat ze een geheim plan hebben..." (dit is gewoon nieuws, geen samenzwering). Of iemand zegt: "Oh ja, en de aarde is plat, natuurlijk!" (dit is een grapje).

De onderzoekers van AILS-NTUA hebben een slimme oplossing bedacht die werkt als een digitaal leger van specialisten, in plaats van één enkele robot die alles moet doen.

Hier is hoe hun systeem werkt, vertaald in alledaagse taal:

1. Het Grote Probleem: De "Verslaggeversvalkuil"

Stel je voor dat je een rechter bent. Iemand komt binnen en zegt: "De krant zegt dat de burgemeester geld heeft gestolen."
Een domme computer denkt: "O, 'geld stelen' is slecht, dus dit is een samenzwering!"
Maar een slimme rechter denkt: "Wacht even. De persoon vertelt alleen wat de krant zegt. Hij gelooft het zelf misschien niet eens."

Dit noemen de onderzoekers de "Reporter Trap" (Verslaggeversvalkuil). De meeste AI's vallen hierin: ze verwarren het melden van een complot met het geloven van een complot.

2. De Oplossing: Een Digitale Rechtbank

In plaats van één AI te laten oordelen, hebben ze een Parallelle Raad (een soort digitale rechtbank) opgezet met vier verschillende personages, elk met een eigen rol:

  • De Officier van Justitie (De Aanklager): Deze AI is paranoïde. Hij zoekt overal naar bewijs dat er een kwaadaardig plan is. Hij vraagt: "Zie je niet hoe ze samenwerken? Dit is verdacht!"
  • De Verdedigingsadvocaat: Deze AI is de scepticus. Hij zegt: "Wacht, dit is gewoon nieuws. Ze zeggen 'volgens de bron', dus het is geen bewering van de schrijver zelf." Hij probeert de AI te behoeden voor vals-positieven.
  • De Letterlijke Rechter: Deze AI kijkt alleen naar wat er letterlijk staat. Geen gevoel, geen gissen. Als het niet 100% duidelijk is, is het geen samenzwering.
  • De Profiler: Deze AI kijkt naar de "trant" en de emotie. Gebruikt de schrijver woorden als "ontwaak" of "ze liegen tegen jullie"? Dan is de kans groot dat het een echte gelovige is.

Hoe het werkt:
Deze vier personages praten niet met elkaar. Ze werken allemaal tegelijk en onafhankelijk van elkaar. Ze geven elk hun oordeel. Vervolgens komt er een Gekalibreerde Rechter (de Hoofdrechter) die alle vier de meningen samenvoegt. Als de Verdedigingsadvocaat zegt "Dit is gewoon nieuws" en de Aanklager zegt "Dit is een complot", kijkt de Hoofdrechter naar de details en beslist hij.

Dit voorkomt dat de AI in een "echo-kamer" terechtkomt waar hij alleen maar bevestigt wat hij al dacht.

3. De "Detective" voor Woorden (S1)

De eerste taak is om de specifieke zinnen te vinden die een samenzwering vormen. Dit is lastig.
Stel je een zin voor: "De mensen werden bedrogen door de media."
Een simpele AI denkt: "De mensen" is het onderwerp, dus dat is de dader (Actor).
Maar in deze zin zijn de mensen het slachtoffer en de media de dader.

Om dit op te lossen, gebruiken ze een techniek genaamd DD-CoT (Dynamic Discriminative Chain-of-Thought).
Stel je voor dat de AI een detective is die een dossier moet maken. In plaats van direct te zeggen wie de dader is, moet de detective eerst een tegenargument bedenken.

  • AI: "Ik denk dat 'de mensen' de dader zijn."
  • Tegenargument: "Wacht, de zin zegt 'werden bedrogen'. Dat betekent dat ze het slachtoffer zijn. Dus 'de mensen' is het slachtoffer, niet de dader."

Door de AI te dwingen om zichzelf te betwisten, wordt hij veel slimmer in het onderscheiden van wie wat doet.

4. Waarom werkt dit zo goed?

Het geheim zit hem in het ontkoppelen van taken:

  1. De AI denkt na over de betekenis (is dit een grap? is dit een complot?).
  2. Een simpele, strikte computer zoekt exact naar de letters in de tekst om te zien waar de zin begint en eindigt.

Vaak maken AI's fouten door te "hallucineren" (ze verzinnen woorden die er niet staan). Door de "denkende" AI en de "zoekende" computer te scheiden, krijgen ze het beste van twee werelden: diep inzicht én exacte precisie.

Het Resultaat

Dit systeem heeft het in de wedstrijd (SemEval) veel beter gedaan dan de standaard methoden.

  • Het kon samenzweringen veel beter onderscheiden van gewoon nieuws (het verminderde de "Reporter Trap" met 50%).
  • Het kon preciezer aangeven welke woorden in een tekst het complot vormen.

Kortom:
De onderzoekers hebben niet geprobeerd een "slimmere" robot te bouwen, maar een slimmer proces. Door AI's te laten werken als een team van specialisten (een aanklager, een verdediger, een profiler) die elkaar controleren, hebben ze een systeem gemaakt dat niet zo makkelijk in de valkuil trapt van "alles wat erover klinkt, is waar". Het is alsof je in plaats van één domme bewaker, een heel team slimme detectives hebt die samen een zaak oplossen.