🤖 AI

Adaptive and Robust Cost-Aware Proof of Quality for Decentralized LLM Inference Networks

Dit artikel stelt een adaptief, robuust en kostenbewust Proof of Quality-mechanisme voor voor gedecentraliseerde LLM-inferentienetwerken dat geavanceerde aggregatieregels en vertrouwensgewogen consensus gebruikt om kwaadwillige scoremanipulatie en evaluatorheterogeniteit effectief te mitigeren, terwijl de afwegingen tussen samplingskosten, beloningsstabiliteit en consensusafstemming worden geoptimaliseerd.

Oorspronkelijke auteurs: Arther Tian, Alex Ding, Frank Chen, Simon Wu, Aaron Chan

Gepubliceerd 2026-01-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Arther Tian, Alex Ding, Frank Chen, Simon Wu, Aaron Chan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische, wereldwijde keuken voor waar iedereen een gerecht (een antwoord van een AI) kan brengen om te worden beoordeeld. Het doel is om de beste koks eerlijk te betalen, maar er is een addertje onder het gras: de juryleden zijn ook vrijwilligers uit het publiek, en sommigen kunnen lui zijn, verward, of zelfs proberen het spel te manipuleren.

Dit paper stelt een nieuwe manier voor om deze keuken te runnen, zodat de koks betaald krijgen voor goed werk zonder dat de juryleden het systeem kunnen bedriegen. Hier is de uitsplitsing met behulp van eenvoudige analogieën:

1. Het Problek: De "Gemanipuleerde Jury"

In een normaal systeem, als je 10 mensen vraagt om een gerecht te beoordelen, neem je gewoon de gemiddelde score. Maar wat als 3 van hen vrienden zijn met de kok en hem een 10/10 geven, terwijl een andere 3 rivalen hem een 1/10 geven? Het gemiddelde raakt verstoord.

Het standpunt van het paper: In gedecentraliseerde AI-netwerken kunnen "evaluatoren" (de juryleden) onbetrouwbaar of kwaadwillend zijn. Ze kunnen proberen de scores van hun vrienden op te krikken, concurrenten te saboteren, of gewoon willekeurige getallen in het systeem te gooien. Als het systeem deze scores simpelweg middelt, worden de beloningen vervormd, en kunnen slechte AI-modellen betaald krijgen terwijl goede modellen worden genegeerd.

2. De Oplossing: Een "Slimme Jury" Systeem

De auteurs hebben hun vorige systeem (genoemd Proof of Quality) geüpgraded om deze bedriegers aan te pakken. Ze hebben twee belangrijke "beveiligingsbewakers" toegevoegd:

Bewaker #1: De "Middenweg" Regel (Robuuste Aggregatie)

In plaats van een simpel gemiddelde te nemen (dat gemakkelijk wordt beïnvloed door extreme scores), gebruikt het systeem slimme wiskunde:

De Mediaan: Stel je voor dat je alle scores van laag naar hoog op een rij zet en de score kiest die precies in het midden ligt. Als een bedrieger probeert een valse "100" of een "0" te geven, wordt deze naar het einde van de rij geduwd en genegeerd.
Het Getrimde Gemiddelde: Dit is alsof je de bovenste 10% en onderste 10% van de scores (de uitschieters) wegknipt voordat je de rest middelt. Het is als een kunstschaatswedstrijd waarbij de hoogste en laagste scores worden geschrapt om bias te voorkomen.

Bewaker #2: De "Reputatiescore" (Adaptief Vertrouwen)

Het systeem houdt een lopende "reputatiescore" bij voor elke rechter.

Hoe het werkt: Als de score van een rechter meestal dicht bij de consensus van de groep ligt, stijgt hun reputatie en telt hun stem de volgende keer zwaarder mee.
De Straf: Als een rechter steeds vreemde scores geeft die niet overeenkomen met de groep (misschien omdat ze proberen te bedriegen of gewoon slecht zijn in beoordelen), daalt hun reputatie. Uiteindelijk tellen hun stemmen bijna nergens meer voor mee.
De Analogie: Denk aan een buurtpreventieteam. Als iemand steeds "wolf" roept of valse meldingen geeft, stoppen de buren met luisteren naar hen. Als ze meestal gelijk hebben, krijgen ze meer inspraak in de beslissing.

3. De "Kosten" Factor: Efficiëntie Is Belangrijk

Het paper geeft ook om hoeveel energie en tijd deze juryleden verbruiken.

De Analogie: Stel je voor dat je een team van juryleden inhuurt. Je wilt niet een team van dure, langzame experts inhuren als een team van snelle, goedkope vrijwilligers 90% van de klus net zo goed kan doen.
Het Mechanisme: Het systeem beloont AI-modellen die zowel van hoge kwaliteit als snel/goedkoop zijn. Het beloont ook juryleden die snel en accuraat zijn. Als een rechter traag of duur is, krijgt hij minder betaald, zelfs als hij accuraat is.

4. Wat Ze Getest Hebben (De Simulatie)

De auteurs hebben niet alleen gepraat over dit onderwerp;

Technische Samenvatting: Adaptieve en Robuuste Kostenbewuste Proof of Quality voor Gedecentraliseerde LLM-inferentienetwerken

Probleemstelling

Gedecentraliseerde inferentienetwerken voor grote taalmodellen (LLM's) beogen open, censuurbestendige toegang tot AI-capaciteiten te bieden, maar vereisen vertrouwensloze mechanismen om de kwaliteit van de output op schaal te verifiëren. Hoewel cryptografische verificatie vaak te duur is voor interactieve latentie, vertrouwen praktische systemen op "Proof of Quality" (PoQ), waarbij lichtgewicht evaluator-nodes kandidaat-outputs scoren om een consensus-signaal voor beloningen te vormen.

Echter, in open, permissieloze implementaties staat dit mechanisme tegenover kritieke kwetsbaarheden:

Heterogeniteit van Evaluators: Evaluators variëren aanzienlijk in betrouwbaarheid en taakalignement; sommigen kunnen zelfs een taakafhankelijke misalignement vertonen die correlaties met de grondwaarheid (ground truth) omkeert.
Adversariële Manipulatie: Kwaadwillende evaluators kunnen scores manipuleren om de consensus te beïnvloeden, uitbetalingen op te blazen of concurrenten te saboteren.
Fragiliteit van Simpele Aggregatie: Standaard consensusregels gebaseerd op eenvoudige middeling zijn zeer gevoelig voor extreme scores (outliers), wat ze kwetsbaar maakt voor ruisinjectie, boosting en sabotage-aanvallen.

Deze problemen bedreigen de prikkel-alignement (incentive alignment), wat potentieel kan leiden tot overbetaling voor kwalitatief lage outputs of de selectie van suboptimale modellen.

Methodologie

Het artikel stelt een adversary-resilient uitbreiding voor op een eerder vastgestelde kostenbewuste PoQ-mechanisme. De aanpak behoudt de oorspronkelijke prikkelstructuur (het balanceren van kwaliteit en computationele kosten) terwijl de consensuslaag wordt verstevigd. De methodologie bestaat uit drie kerncomponenten:

1. Robuuste Aggregatieregels
In plaats van uitsluitend te vertrouwen op het rekenkundig gemiddelde, evalueert het systeem vier consensusvormingsregels:

Simpel Gemiddelde: Ongewogen middeling (baseline).
Mediaan: Gebruikt de mediaan van de steekproef om de invloed van grote outliers te verminderen.
Getrimd Gemiddelde (Trimmed Mean): Verwijdert een vast fractie ( $\gamma$ ) van extreme scores aan beide uiteinden voordat er wordt gemiddeld, waardoor meer informatie behouden blijft dan bij de mediaan, terwijl de adversariële impact wordt beperkt.
Adaptief Gewogen Gemiddelde: Gebruikt vertrouwensgewichten om onbetrouwbare evaluators dynamisch te reduceren.

2. Adaptieve Vertrouwensweging
Het systeem houdt een niet-negatief vertrouwensgewicht ( $w_e$ ) bij voor elke evaluator, dat online wordt bijgewerkt op basis van afwijkingssignalen.

Afwijkingssignaal: Berekend als het genormaliseerde absolute verschil tussen een score van een evaluator en de consensusscore ( $d_{t,e} = |s_{t,e} - c_t| / 10$ ).
Update-regel: Een multiplicatieve update verhoogt het vertrouwen wanneer de afwijking laag is ( $<0.5$ ) en verlaagt het vertrouwen wanneer de afwijking hoog is ( $>0.5$ ), afgeklemd binnen $[w_{min}, w_{max}]$ . Dit stelt het systeem in staat om persistente outliers naar beneden te wegen zonder dat daarvoor supervisie van de grondwaarheid nodig is.

3. Kostenbewust Beloningsontwerp
Beloningen worden berekend voor zowel inferentie-nodes als evaluator-nodes:

Inferentie-nodes: Beloningen combineren genormaliseerde kwaliteit (afgeleid van consensus) en genormaliseerde latentiekosten. Een straf voor een kwaliteit drempelwaarde wordt toegepast voor outputs onder een bepaalde standaard, en een efficiëntiebonus beloont hoge kwaliteit tegen lage kosten.
Evaluator-nodes: Beloningen hangen af van de "nabijheid" tot de consensusscore en de evaluatiekosten. Dit stimuleert evaluators om te aligneren met het collectieve signaal terwijl ze efficiënt blijven.

4. Threat Model en Evaluatie
De auteurs definiëren een threat model waarbij een adversary een fractie ( $\rho$ ) van de evaluators controleert en vier aanvalsstrategieën hanteert:

Random Ruisinjectie: Het toevoegen van begrensde uniforme ruis aan scores.
Boosting: Het toevoegen van een vaste positieve bias.
Sabotage: Het aftrekken van een vaste bias.
Strategische Manipulatie: Het intermitterend toepassen van grote afwijkingen met een willekeurige richting.