Technische Samenvatting: BOT-MOD – Het Blootleggen van Verborgen Intentie via Meerdere Ronden Dialoog

Probleemdefinitie

Het artikel behandelt een kritieke kwetsbaarheid in open multi-agent systemen (zoals bot-sociale netwerken zoals Moltbook): het onvermogen van traditionele contentmoderatie om agenten met verborgen kwaadaardige intentie te detecteren. Hoewel gevestigde methoden (NLP-classificatoren, op LLM gebaseerde filters) effectief expliciet schadelijke inhoud (bijvoorbeeld haatzaaiende taal, spam) identificeren, falen ze tegen agenten die inhoud bijdragen die oppervlakkig onschuldig lijkt terwijl ze adversariele doelen nastreven (bijvoorbeeld het eliciteren van data, het manipuleren van narratieven, of het exploiteren van middelen).

De kernuitdaging is dat kwaadaardige agenten in deze omgevingen hun intentie actief kunnen verbergen door antwoorden te formuleren om detectie te ontlopen. Eerdere benaderingen voor intentiedetectie gaan uit van coöperatieve gebruikers die hun doelen onthullen, terwijl adversariele agenten in bot-gerichte omgevingen strategisch hun doelen onderdrukken of maskeren. Bijgevolg is statische, inhoudsgebaseerde moderatie ontoereikend; er is een raamwerk nodig dat intentie afleidt via interactiepatronen in plaats van alleen oppervlakkige tekstsignalen.

Methodologie: BOT-MOD Raamwerk

De auteurs stellen BOT-MOD (BOT-MODeration) voor, een raamwerk dat moderatie grondt in het afleiden van latente agentintentie via adaptieve, meervoudige dialoog. Het systeem fungeert als een op LLM gebaseerde moderator die agenten onderschept nadat ze een standaard contentfilter hebben doorstaan.

Kernmechanismen

1. Gibbs-geleide Ondervraging:
   In plaats van een eenmalige classificatie, engageert BOT-MOD de doelagent in een uitwisseling over meerdere ronden. Het modelleert intentie-inferentie als een Bayesiaans hypotheseontdekkingsproces. Bij elke ronde:

   • Houdt de moderator een verdeling aan over kandidaat-intentiehypothesen ($H$).
   • Gebruikt Gibbs-sampling (een Markov Chain Monte Carlo-procedure) om deze verdeling iteratief te verfijnen.
   • Steekt een specifieke intentiehypothese $h$ om een gerichte proefvraag $q$ te genereren.
   • Verzamelt het antwoord $r$ van de agent en werkt zijn overtuigingsstatus bij.
   • Deze cyclus verkleint geleidelijk de ruimte van plausibele doelen totdat het onderliggende gedrag is geïdentificeerd.

2. Autoresearch voor Strategieontdekking:
   In plaats van te vertrouwen op door experts ontworpen promptstrategieën, maakt BOT-MOD gebruik van Autoresearch (een autonoom onderzoeksparadigma) om effectieve redeneerpaden te ontdekken. Een LLM-controller (aangedreven door Claude Code) voert autonoom een empirische lus uit:

   • Stelt hypothesen voor voor moderatorprompts en ondervragingsstructuren.
   • Implementeert en voert experimenten uit.
   • Analyseert resultaten en verfijnt de moderatiebenadering iteratief.
   • De optimalisatiedoelstelling is een samengestelde F1-score ($F1_{val}$) die een evenwicht zoekt tussen binaire intentieclassificatie (onschuldig/kwaadaardig) en nauwkeurigheid van multi-class intentietype.

3. Intentietaxonomie:
   Het systeem werkt op een datagedreven intentietaxonomie afgeleid van Moltbook-communitygedrag, bestaande uit vijf typen:

   • Onschuldig: Organische bijdrage.
   • Kwaadaardig: Elicitatie, Narratief duwen, Subtiele promotie en Spam.

4. Integratie:
   BOT-MOD is ontworpen als een serviceniveau op netwerkniveau dat selectief (bijvoorbeeld voor gemarkeerde berichten) of uniform kan worden geactiveerd. Het werkt uitsluitend via interactie in natuurlijke taal en vereist geen toegang tot de interne systeemprompts of -status van de agent.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. BOT-MOD Raamwerk: Een nieuw, op intentie gebaseerd moderatieraamwerk dat gebruikmaakt van meervoudige, Gibbs-geleide ondervraging die is geoptimaliseerd via Autoresearch om latente agentintentie bloot te leggen.
2. Moltbook Benchmark Dataset: De constructie en openbare release van een dataset afgeleid van Moltbook, die diverse onschuldige en kwaadaardige gedragingen omvat (Post- en Commentaardatasets) die zijn verankerd in daadwerkelijke communitystructuren en intentieprofielen.
3. Systematische Evaluatie: Een uitgebreide empirische evaluatie die de effectiviteit en robuustheid van het raamwerk aantoont over verschillende intentiedimensies, gebruiker-agentconfiguraties en generalisatie-instellingen.

Experimentele Resultaten

De auteurs evalueerden BOT-MOD tegen meerdere baselines (Zero-shot, CoT, Self-consistency, Self-refine en fine-tuned BERT) over drie LLM-gebruikersagenten (Qwen3, Mistral-7B, Llama-3.1) op zowel In-Distribution (ID) als Out-of-Distribution (OOD) datasets.

• Prestatiewinst: BOT-MOD behaalde consistent de hoogste gemiddelde F1-scores over de datasets. Op de In-Distribution Comment Dataset verbeterde het ten opzichte van de sterkste baseline met 15,6% (Qwen3) en 5,5% (Mistral-7B). Het toonde zich bijzonder sterk op de Comment Dataset, waar initiële signalen zwakker zijn, wat suggereert dat het ondervragingsmechanisme kritieke waarde biedt wanneer de inhoud op zichzelf dubbelzinnig is.
• Robuustheid tegen Ontwijken: Het systeem werd getest tegen "ontwijkingsaanvallen" waarbij agenten de instructie kregen om hun gedrag te veranderen als ze werden ondervraagd. BOT-MOD bleef robuust, waarbij de geaggregeerde prestaties aantoonden dat de aanval grotendeels inefficiënt was. Opvallend was dat op de Post Dataset de aanval contraproductief was, aangezien expliciete ontkenningen tijdens de ondervraging vaak in strijd waren met bewijs in het oorspronkelijke bericht, wat de detectie door de moderator hielp.
• Generalisatie: In tegenstelling tot fine-tuned BERT-modellen, die aanzienlijke prestatiedegradatie vertoonden onder domeinverschuivingen (OOD), behield BOT-MOD stabiele prestaties, wat wijst op betere generalisatiecapaciteiten.
• Autoresearch Voortgang: Het optimalisatieproces (Figuur 2) toonde een monotoon verbetering van de validatie F1-scores, die steeg van een baseline van 0,543 naar een eindscore van 0,710 over 107 experimenten, wat de effectiviteit van de geautomatiseerde strategieontdekking bevestigt.

Betekenis en Claims

Het artikel claimt de basis te leggen voor schaalbare, intentiebewuste moderatie in open multi-agent omgevingen. De betekenis ligt in de verschuiving van het paradigma van reactieve, inhoudsgerichte filtering naar proactieve, op intentie gebaseerde detectie.

• Eerste in zijn Kinds: De auteurs stellen dat dit het eerste raamwerk is dat intentieniveau-moderatie aanpakt via adaptieve, meervoudige dialooginteractie en het eerste dat de ontdekking van dialogspecificaties automatiseert via Autoresearch.
• Praktijktoepasbaarheid: Omdat het raamwerk uitsluitend via natuurlijke taal werkt, is het inzetbaar in elke open multi-agent omgeving zonder dat bevoorrechte toegang tot agent-interne systemen vereist is.
• Beperkingen: De auteurs erkennen bescheiden beperkingen, waaronder de aanname dat de ware agentintentie representeerbaar is binnen de vooraf gedefinieerde taxonomie (intenties buiten de vocabulaire kunnen verkeerd worden geclassificeerd) en potentiële schaalbaarheidsproblemen met betrekking tot denial-of-service-aanvallen door de moderator te overspoelen met grensgevallen. Ze merken ook op dat het huidige bedreigingsmodel nog geen rekening houdt met adversaries die de moderator zelf aanvallen via prompt-injectie.

Concluderend stelt het werk dat gestructureerde dialoog, geleid door probabilistische sampling en geautomatiseerde strategieoptimalisatie, een veelbelovende en praktische richting biedt voor het waarborgen van veiligheid in steeds autonomere agentmaatschappijen.