UTS at PsyDefDetect: Multi-Agent Councils and Absence-Based Reasoning for Defense Mechanism Classification
De UTS van het PsyDefDetect-systeem behaalde een tweede plaats in het classificeren van psychologische verdedigingsmechanismen door gebruik te maken van afwezigheidsgebaseerd redeneren in prompt-niveau regels en een multi-agent deliberatief raad, verder versterkt door een gerichte override-ensemble van fijngefineerde modellen om systematische biases tegen minderheidsklassen te corrigeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te begrijpen waarom mensen dingen zeggen als ze van streek zijn. Soms zijn ze niet alleen eerlijk; ze gebruiken psychologische "beschermende" technieken die afweermechanismen worden genoemd. Deze schilden variëren van zeer onvolwassen (zoals fysiek uit de hand lopen) tot zeer volwassen (zoals rustig een probleem oplossen).
De uitdaging voor computers is dat deze schilden lastig zijn. Een persoon kan zeggen: "Ik ben oké, gewoon veel onbekenden aan het verwerken." Op het oppervlak klinkt dat als een gezonde, volwassen manier om met stress om te gaan. Maar in werkelijkheid verbergt de persoon zijn gevoelens. Ze missen de emotie die ze zouden moeten hebben. Voor een computer is het opsporen van wat ontbreekt veel moeilijker dan het opsporen van wat aanwezig is.
Dit artikel beschrijft een team (UTS bij PsyDefDetect) dat een slim computersysteem bouwde om dit raadsel op te lossen. Ze deden mee aan een competitie met 64 andere teams en eindigden op de tweede plaats. Hieronder wordt uitgelegd hoe ze dit deden, simpelweg uitgelegd.
1. De Kernidee: "De Geest in de Kamer"
Het team realiseerde zich dat afweermechanismen worden gedefinieerd door afwezigheid.
- De Metafoor: Stel je een detective voor die op zoek is naar een dief. De meeste detectives zoeken naar voetafdrukken (wat aanwezig is). Dit team realiseerde zich dat de dief eigenlijk wordt gedefinieerd door de lege ruimte waar de voetafdrukken zouden moeten zijn.
- De Toepassing: Als iemand over een tragedie praat maar niet verdrietig klinkt, moet de computer herkennen dat de ontbrekende verdrietigheid de aanwijzing is. Ze programmeerden hun systeem met "klinische regels" die specifiek zoeken naar deze ontbrekende stukken (ontbrekende emotie, geblokkeerd denken of ontkende realiteit). Deze ene truc gaf hen een enorme boost in prestaties.
2. De "Raad van Experts" (De Deliberatieve Raad)
In plaats van één AI te vragen een gok te wagen, bouwden ze een multi-agent raad.
- De Metafoor: Stel je een rechtszaal voor. In plaats van dat een jury stemt via een simpele meerderheid (wat altijd het meest voorkomende antwoord zou kiezen), hebben ze een panel van gespecialiseerde advocaten.
- Fase 1: Drie verschillende "advocaten" (AI-agenten) kijken naar de zaak en stellen mogelijke vonnissen voor.
- Fase 2: Als ze het oneens zijn, treedt een specifieke "pleiter" voor elk mogelijk vonnis op. De pleiter voor "Niveau 7" (Volwassen) betoogt waarom het past. De pleiter voor "Niveau 6" (Obsessief) betoogt waarom dat beter past. Ze schreeuwen niet zomaar "Ik win!"; ze presenteren bewijs.
- Fase 3: Een rechter kijkt naar de kracht van het bewijs. Als de pleiter voor "Niveau 6" sterk bewijs heeft, wint hij, zelfs als drie andere agenten voor "Niveau 7" stemden.
- Het Resultaat: Dit systeem was op zichzelf erg goed, maar had een gebrek: het was te zelfverzekerd over het meest voorkomende antwoord (Niveau 7), en negeerde vaak de zeldzame, moeilijke gevallen.
3. De "L7 Aantrekker" (Het Zwaartekrachtprobleem)
De data was sterk scheef. Meer dan de helft van de voorbeelden was "Niveau 7" (Volwassen).
- De Metafoor: Stel je een gigantische magneet (Niveau 7) in het midden van een kamer voor. Waar je ook een bal (een gesprek) heen gooit, de magneet trekt hem naar zich toe. De AI bleef naar "Dit is Volwassen" zuigen, zelfs als het dat niet was.
- Het Probleem: De AI was "zelfverzekerd fout". Het zou de zeldzame antwoorden (zoals Niveau 3 of 4) kiezen en het goed hebben, maar het zou ze ook kiezen en het fout hebben, en het zou het voorkomende antwoord (Niveau 7) kiezen en het 80% van de tijd fout hebben voor die specifieke gevallen.
4. Het "Chirurgische Slag" Team (Het Overschrijdingsensemble)
Om het magneetprobleem op te lossen, voegden ze een tweede verdedigingslaag toe: een Gerichte Overschrijdings Team.
- De Metafoor: Denk aan de Raad als een algemeen directeur die dagelijkse beslissingen neemt. Het Overschrijdings Team is een gespecialiseerd "Kwaliteitscontrole" team dat alleen ingrijpt als de manager een riskante gok maakt.
- Hoe het werkt:
- Ze trainden drie kleinere, gespecialiseerde AI-modellen (zoals gespecialiseerde chirurgen) om de voorspellingen van de Raad te bekijken.
- Als de Raad zegt "Niveau 7" maar de gespecialiseerde modellen zeggen "Wacht, dit is eigenlijk Niveau 6", controleert het systeem het bewijs.
- Ze gebruikten een Builder-Critic-Guard-systeem:
- Builder: Stelt een wijziging voor.
- Critic: Probeert te bewijzen dat de wijziging verkeerd is (betwist het).
- Guard: Laat de wijziging alleen door als het bewijs rotsvast is.
- Het Resultaat: Dit team maakte slechts 16 wijzigingen op 472 voorspellingen. Maar die 16 wijzigingen waren zo accuraat dat ze het team van de 3e naar de 2e plaats duwden.
5. De "Lekkende Emmer" Waarschuwing
Het artikel ontdekte ook een sluwe problemen.
- De Metafoor: Stel je een test voor waarbij de vragen lichtelijk verschillende versies zijn van die je hebt bestudeerd. Als je de antwoorden van de studiegids uit je hoofd leert, haal je 100%. Maar als de testvragen uit dezelfde conversatie komen als de studiegids, leer je niet echt; je herinnert je alleen.
- De Bevinding: De testdata deelde dezelfde conversaties als de trainingsdata. Als de AI gewoon de conversatie "herinnerde", leek het alsof het 97% accuraat was. Maar toen ze het ervan weerhielden om te valsspelen (door ervoor te zorgen dat het niet dezelfde conversatie twee keer zag), daalde de nauwkeurigheid naar een realistische 65%. Dit leerde hen dat opvragen (het vinden van vergelijkbare voorbeelden) zeer zorgvuldig moest gebeuren om valsspelen te voorkomen.
Samenvatting van de Overwinning
Het team won niet door het grootste, krachtigste AI-model te gebruiken. Ze wonnen door:
- De AI te leren wat ontbreekt op te merken (de afwezigheid van emotie).
- Een debatstelsel te creëren waarbij bewijs belangrijker is dan een simpele stemming.
- Een klein, zeer gedisciplineerd "correctieteam" te gebruiken om de paar keer dat het hoofdsysteem zelfverzekerd fout zat, op te lossen.
Hun eindcijfer was een Macro-F1 van 0,406, waarmee ze 63 andere teams versloegen. Ze bewezen dat in de psychologie soms de belangrijkste aanwijzing de stilte is waar een gevoel zou moeten zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.