🤖 AI

Consensus is Strategically Insufficient: Reasoning-Trace Disagreement as a Knowledge-Representation Signal

Dit artikel stelt een kennisrepresentatiekader voor dat redeneersporen en beslissingen van meerdere agenten abstraheert naar vier symbolische onenigheidstoestanden om strategische routering in waarde-geladen taken mogelijk te maken, waarbij wordt betoogd dat het behouden van in plaats van het elimineren van onenigheid cruciaal is voor het aanpakken van normatieve onzekerheid.

Oorspronkelijke auteurs: Michał Wawer, Jarosław A. Chudziak

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michał Wawer, Jarosław A. Chudziak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van vijf AI-assistenten hebt die de taak hebben om te beslissen of een specifieke stuk online-content behouden moet blijven of verwijderd moet worden. In de meeste huidige systemen is het doel om deze vijf assistenten zo snel mogelijk te laten instemmen. Als ze het oneens zijn, behandelt het systeem dit meestal als een fout, dwingt het een stemming af of vraagt het hen om te debatteren totdat ze een "consensus" bereiken.

Dit artikel betoogt dat het afdwingen van overeenstemming eigenlijk een slecht idee is voor complexe, op waarden gebaseerde beslissingen (zoals contentmoderatie). Soms is onenigheid geen fout, maar een kenmerk. Het kan betekenen dat de agenten naar dezelfde feiten kijken, maar verschillende waarden afwegen (zoals "vrijheid van meningsuiting" versus "veiligheid").

Hier is het kernidee, onderverdeeld met eenvoudige analogieën:

Het Probleem: De Fout van de "Stemmachine"

Denk aan een standaard multi-agent systeem als een jury die wordt gedwongen direct een oordeel te vellen. Als de juryleden verdeeld zijn met 3 tegen 2, kiest het systeem gewoon de meerderheid en gaat verder.

De Fout: Dit negeert waarom ze het oneens waren. Waren ze het oneens omdat ze verschillende feiten zagen? Of zagen ze exact dezelfde feiten, maar hadden ze verschillende morele prioriteiten? Het huidige systeem behandelt beide situaties hetzelfde: "Kies gewoon een winnaar."

De Oplossing: De "Onenigheidskaart"

De auteurs stellen een nieuwe manier van denken voor die niet alleen kijkt naar de stem, maar naar de redenering achter de stemmen. Ze maken een "kaart" met vier verschillende zones op basis van twee vragen:

Waren ze het eens over de conclusie? (Behouden of Verwijderen?)
Waren ze het eens over de redenering? (Gebruikten ze vergelijkbare logica?)

Dit creëert vier "staten" van onenigheid, zoals vier verschillende kamers in een huis:

1. Convergente Overeenstemming (CA)

Het Scenario: Iedereen is het eens over de beslissing, en ze gebruikten allemaal dezelfde logica.
De Metafoor: Een koor dat dezelfde noot zingt in perfecte harmonie.
De Actie: Automatisch goedkeuren. Geen verdere bedenktijd nodig; het systeem kan de beslissing veilig automatisch nemen.

2. Divergente Overeenstemming (DA)

Het Scenario: Iedereen is het eens over de beslissing, maar ze gebruikten totaal verschillende redenen om tot die beslissing te komen.
De Metafoor: Vijf mensen die beslissen een auto te kopen. De één wil veiligheid, de ander snelheid, en een derde stijl. Ze zijn het allemaal eens over de auto, maar om verschillende redenen.
De Actie: Automatisch goedkeuren met uitleg. Het systeem neemt de beslissing, maar houdt alle verschillende redenen zichtbaar, omdat verschillende mensen om verschillende redenen kunnen geven om.

3. Divergente Onenigheid (DD)

Het Scenario: Ze zijn het oneens over de beslissing, en ze gebruikten ook totaal verschillende logica.
De Metafoor: Een groep mensen die naar een wazige foto kijkt. De één denkt dat het een hond is, een ander een kat, en een derde een schaduw. Ze kunnen het niet eens worden omdat ze niet eens zeker weten waar ze naar kijken.
De Actie: Vraag om meer context. Het systeem realiseert zich dat het nog niet genoeg informatie heeft. Het moet niet escaleren naar een mens; het moet simpelweg om meer data vragen of het opnieuw proberen.

4. Convergente Onenigheid (CD) — De Belangrijkste

Het Scenario: Ze zijn het oneens over de beslissing, maar ze gebruikten exact dezelfde logica.
De Metafoor: Vijf rechters die naar dezelfde duidelijke foto van een hond kijken. Ze zijn het er allemaal over eens dat het een hond is. Maar Rechter A zegt: "Honden zijn gevaarlijk, verwijder het," terwijl Rechter B zegt: "Honden zijn schattig, behoud het." Ze zien dezelfde realiteit, maar er is een fundamenteel botsing van waarden.
De Actie: Escaleren naar een mens. Dit is het grote inzicht van het artikel. Als de AI-agenten het eens zijn over de feiten maar het oneens zijn over de waarde, dan is er sprake van een echt moreel conflict. Het afdwingen van een winnaar in deze situatie zou een echt menselijk dilemma verbergen. Dit is het signaal dat zegt: "Stop, een mens moet hierinzien over deze waarde-botsing."

Waarom dit ertoe doet

Het artikel suggereert dat in plaats van te proberen onenigheid op te lossen (door het weg te stemmen), we onenigheid moeten gebruiken als een signaal.

Oude Manier: "We hebben een onenigheid? Laten we een stemming afdwingen en doen alsof het is opgelost."
Nieuwe Manier: "We hebben een onenigheid. Laten we de kaart bekijken. Is het een 'wazige foto'-situatie (vraag meer info op) of een 'botsende waarden'-situatie (bel een mens)?"

De "Proefrit"

De auteurs testten dit idee met behulp van een dataset van haatzaaiende taalvoorbeelden. Ze simuleerden vijf AI-agenten met verschillende "persoonlijkheden" (bijv. één gericht op veiligheid, één op vrijheid van meningsuiting).

Het Resultaat: Het systeem slaagde erin de gevallen succesvol in de vier categorieën te sorteren.
Het Bewijs: De gevallen waar de AI-agenten "Convergente Onenigheid" hadden (dezelfde logica, verschillende waarden), waren de gevallen waarin menselijke beoordelaars ook het meest van mening verschilden. Dit bewijst dat de "kaart" van het systeem de moeilijkste, meest waarde-geladen gevallen correct identificeerde waar mensen ook mee worstelen.

Samenvatting

Dit artikel betoogt dat in complexe, op waarden gebaseerde taken, onenigheid een nuttig hulpmiddel is, geen fout. Door te categoriseren hoe agenten het oneens zijn, kunnen we systemen bouwen die precies weten wanneer ze automatisch moeten handelen, wanneer ze om meer informatie moeten vragen, en wanneer ze wijs moeten terugstappen en een mens het morele dilemma laten afhandelen.

Technische Samenvatting: Consensus is Strategisch Onvoldoende

Probleemstelling
Huidige op LLM gebaseerde multi-agent systemen zijn voornamelijk ontworpen om onderlinge onenigheid tussen agenten te minimaliseren via mechanismen zoals meerderheidsstemmen, debatrondes of fouttolerante aggregatie. Hoewel dit effectief is voor instrumentele taken waarbij onenigheid een signaal is van ruis of redeneerfouten, wordt betoogd dat dit consensus-zoekende doel strategisch onvoldoende is voor waarde-geladen taken (bijv. contentmoderatie). In dergelijke domeinen reflecteert onenigheid vaak genuanteerde normatieve onzekerheid, perspectivische variatie of waardpluralisme in plaats van agent-fouten. Het behandelen van alle onenigheid als een defect dat weggegemiddeld moet worden, riskeert legitieme betwiste situaties te verhullen en faalt in het onderscheid tussen interpretatieve ambiguïteit en evaluatieve conflicten.

Methodologie
De auteurs stellen een Kennisrepresentatie-laag (KR-laag) voor die de outputs van agenten abstraheert naar symbolische onenigheidstoestanden, dienend als een interface tussen sub-symbolische LLM-deliberatie en symbolische strategische controle.

Formeel Model:
- Een systeem bestaat uit $n$ agenten, die elk een output produceren $O_i(c) = \langle r_i, d_i, v_i, \gamma_i \rangle$ , waarbij $r_i$ een expliciet redeneerpad is, $d_i$ een binaire beslissing (bijv. BEHOUDEN/VERWIJDEREN), $v_i$ een waardeprofiel is, en $\gamma_i$ een betrouwbaarheidsscore is.
- De KR-laag evalueert twee dimensies:
  - Redeneringsgelijkenis: Gemeten door de semantische gelijkenis $sim(r_i, r_j)$ van de redeneerpaden. Een drempelwaarde $\theta_s$ bepaalt of de gelijkenis Hoog of Laag is.
  - Conclusieovereenstemming: Gemeten door het aandeel agenten dat het eens is over een beslissing. Een drempelwaarde $\theta_a$ bepaalt of de groep zich in Overeenstemming of Onenigheid bevindt.
Symbolische Taxonomie:
De combinatie van deze dimensies levert vier onderscheidende epistemische toestanden op:
- Convergente Overeenstemming (CA): Hoge redeneringsgelijkenis + conclusieovereenstemming.
- Divergente Overeenstemming (DA): Lage redeneringsgelijkenis + conclusieovereenstemming.
- Convergente Onenigheid (CD): Hoge redeneringsgelijkenis + conclusieonenigheid.
- Divergente Onenigheid (DD): Lage redeneringsgelijkenis + conclusieonenigheid.
Defeasible Strategische Routering:
Het systeem koppelt deze toestanden aan strategische meta-acties met behulp van defeasible regels (niet-monotoon redeneren), waardoor overrides mogelijk zijn op basis van domeinspecifieke beperkingen (bijv. juridische vereisten of risiconiveaus):
- CA $\Rightarrow$ Auto: Accepteer de beslissing automatisch.
- DA $\Rightarrow$ AutoExplain: Accepteer de beslissing, maar bewaar diverse verklaringen voor belanghebbenden.
- DD $\Rightarrow$ SeekContext: Vraag aanvullende informatie op of vraag om verdere deliberatie (wijst op een instabiele interpretatie).
- CD $\Rightarrow$ Escalate: Stuur door naar menselijke oordeelsvorming (wijst op gedeelde interpretatie maar conflicterende waardeprioriteiten).

Belangrijkste Bijdragen

Herformulering van Onenigheid: Het artikel herformuleert onenigheid niet als een aggregatie-obstakel, maar als een representeerbare epistemische toestand van het multi-agent systeem.
Compacte Taxonomie: Het definieert een vier-toestanden taxonomie gebaseerd op de intersectie van redeneringsgelijkenis en conclusieovereenstemming, waarbij onderscheid wordt gemaakt tussen gevallen waarin agenten onenigheid hebben door ambiguïteit (DD) versus waardeconflict (CD).
Strategisch Routeringsbeleid: Het associeert deze toestanden met defeasible routeringsregels, waardoor het systeem kan redeneren over of er beslist, geïnformeerd of geëscaleerd moet worden, in plaats van enkel over wat er beslist moet worden.
Empirische Getrouwheidstoets: De auteurs valideren de KR-laag met behulp van een contentmoderatie-opstelling met vijf LLM-agenten die gedifferentieerd zijn door waardeprofielen (harm-gericht, vrijheid van meningsuiting, etc.) op de Measuring Hate Speech corpus.

Resultaten

Distributie en Ordening: In een steekproef van 600 items behield de distributie van gevallen over de toestanden de conceptueel voorspelde ordening van menselijke annotator-onenigheid: Divergente Overeenstemming (DA) < Convergente Overeenstemming (CA) < Divergente Onenigheid (DD) < Convergente Onenigheid (CD).
Statistische Significantie: De twee onenigheidstoestanden (CD, DD) werden gezamenlijk gescheiden van de overeenstemmingstoestanden (CA, DA) met een grote effectgrootte (Cohen's $d = 0,80$ ), wat suggereert dat de structurele abstractie fenomenen volgt die mensen ook waarnemen.
Voorspellende Prestaties: Een categorie-gebaseerde routeringsaanpak (gebruikmakend van de vier toestanden) behaalde een hogere F1-score (0,548) in het signaleren van gevallen met hoge menselijke onenigheid vergeleken met een baseline die enkel gebruikmaakt van de magnitude van redeneringsdivergentie (0,503). De categorie-gebaseerde aanpak verbeterde de precisie door onderscheid te maken tussen ambigue gevallen (DD) en normatieve conflicten (CD), wat een metriek gebaseerd op enkel magnitude zou confunderen.

Betekenis en Claims
Het artikel claimt dat de structuur van onenigheid informatie bevat die de magnitude alleen niet bezit. Specifiek wordt Convergente Onenigheid (CD) geïdentificeerd als een sterk signaal van normatief conflict, waarbij agenten een beschrijving van een geval delen maar de waarden verschillend prioriteren. In dergelijke gevallen wordt gesteld dat het afdwingen van consensus een falen van automatisering is; in plaats daarvan is escalatie een rationele meta-actie.

Het framework positioneert zichzelf als een pragmatische interface tussen sub-symbolische deliberatie en symbolische strategische controle. Het overbrugt de kloof tussen oordeelsaggregatie (die stemmen combineert zonder redenering bloot te leggen) en formele argumentatie (die volledige aanval/ondersteuningsgrafen modelleert). De auteurs benadrukken dat dit een "sanity check" is op de getrouwheid van de KR-laag in plaats van een benchmark van het routeringsbeleid zelf, waarbij zij opmerken dat de kwalitatieve ordening van de toestanden het primaire dragende resultaat is. Het werk suggereert dat voor waarde-geladen taken het doel van multi-agent systemen moet verschuiven van "hoe laat je agenten het eens worden" naar "wat de structuur van onenigheid impliceert voor de volgende actie."