PoQ-Judge: A Multi-Architecture Evaluation Framework for Cost-Aware Proof-of-Quality in Decentralized LLM Inference

Technische Samenvatting: PoQ-Judge

Probleemstelling
Gedecentraliseerde netwerken voor Large Language Model (LLM) inferentie vertrouwen op Proof of Quality (PoQ) om outputs te verifiëren en beloningen toe te wijzen zonder kostbare cryptografische bewijzen. Hoewel eerder werk kosteneffectieve prikkels, adiabatische robuustheid en meerdimensionale kwaliteitsbeoordeling had vastgesteld, bleef er een kritieke implementatiekloof bestaan: de meest betrouwbare kwaliteitsdimensie — semantische gelijkenis — vereist een referentieantwoord met een grondwaarheid (ground-truth). In live gedecentraliseerde netwerken zijn dergelijke referenties niet beschikbaar. Bestaande referentievrije evaluatoren (bijv. getrainde NLI cross-encoders) correleerden zwak of negatief met de kwaliteit van de grondwaarheid, terwijl "LLM-as-a-Judge"-benaderingen met miljardenparameters te latentie-intensief en te duur waren voor de doorvoer-georiënteerde, kostenbeperkte eisen van PoQ-consensusrondes.

Methodologie
Het artikel introduceert PoQ-Judge, een multi-architectuur framework ontworpen om lichtgewicht, referentievrije judge-modellen specifiek te trainen voor gedecentraliseerde inferentie. De methodologie bestaat uit drie kerncomponenten:

1. Multi-Architectuur Ontwerp: De auteurs stellen drie judge-modellen voor die een kwaliteit–kosten Pareto-front beslaan:

   • TextCNN Judge (~10M params): Een convolutionele architectuur die een sub-milliseconde latentie biedt (~1ms), geschikt voor high-throughput of kostenbeperkte lagen.
   • MiniLM Judge (22M params): Een cross-encoder gebaseerd op een gedestilleerde Transformer, die een balans vindt tussen kwaliteit en latentie (~13ms).
   • DeBERTa Judge (184M params): Een disentangled-attention encoder gericht op maximale nauwkeurigheid (~15ms).
     Alle modellen produceren een scalaire kwaliteits-score $s_\theta(q, y) \in [0, 10]$ voor een query–output paar zonder toegang tot een referentieantwoord.

2. Tweefasige Trainingspipeline: Om het tekort aan data in het specifieke PoQ-domein te overwinnen, ondergaan de modellen:

   • Fase 1 (Pre-training): Training op de UltraFeedback corpus (45k samples) om algemene evaluatiepatronen en instructie-volgende kwaliteit te leren.
   • Fase 2 (Fine-tuning): Adaptatie aan de specifieke doel-PoQ taakverdeling met behulp van GPT-4o-mini gelabelde data (1.400 trainingssamples) die dekking biedt aan Question Answering (QA) en Samenvatting (Summarization). Het doel is Mean Squared Error (MSE) regressie tegen de gelabelde scores.

3. Integratie en Implementatiemechanismen:

   • Composiet Score: De getrainde judges worden geïntegreerd als een nieuwe "referentievrije" dimensie binnen een meerdimensionaal scoring framework, naast structurele priors en optionele referentie-gebaseerde dimensies.
   • Online Kalibratie: Het framework ondersteunt online aanpassing van dimensie-gewichten via Exponential Moving Average (EMA), Multi-Armed Bandit (UCB) en Gradient Descent strategieën om zich aan te passen aan verschuivende taakverdelingen.
   • Cascade Evaluatie: Een kostenbewust protocol stuurt outputs door evaluatielagen (Structureel $\to$ Lichtgewicht Judge $\to$ Volledige Evaluatie), waarbij vroegtijdig wordt gestopt wanneer vertrouwensdrempels worden behaald om kosten te besparen.

Belangrijkste Resultaten
Experimenten werden uitgevoerd op een hold-out testset ($n=300$) die QA- en samenvattings-taken beslaat, waarbij token-level F1 tegen de grondwaarheid als proxy werd gebruikt.

• Judge Prestaties: De DeBERTa Judge bereikte een Pearson-correlatie van 0,747 met de grondwaarheid-proxy, wat de beste referentie-gebaseerde baseline uit eerder werk (STS-stsb: 0,647) overtreft. Het 95% bootstrap betrouwbaarheidsinterval [0,663, 0,816] overlapt niet met de bovengrens van de beste referentie-gebaseerde evaluator.
• Referentievrije Composiet Scoring: Wanneer geïntegreerd in een composiet score zonder referentie-antwoorden, bereikte het systeem een Pearson-correlatie van 0,645, wat statistisch overeenkomt met de beste enkele referentie-gebaseerde evaluator (STS-stsb: 0,647) zonder dat referentie-data nodig is.
• Taakafhankelijkheid: Prestaties varieerden sterk per taak. Bij QA bereikte de DeBERTa judge een Pearson van 0,830; bij Samenvatting daalde dit naar 0,199. De auteurs schrijven dit primair toe aan de beperkingen van de token-level F1 grondwaarheid-proxy voor samenvattingen, in plaats aan de modelcapaciteit.
• Kostenbesparing: Het cascade evaluatie-protocol realiseerde tot wel 72,7% kostenbesparing in lage budget-regimes door te vertrouwen op structurele priors, met slechts een minimale reductie in kwaliteit.
• Online Kalibratie: Gradient-gebaseerde kalibratie identificeerde succesvol semantische kwaliteit als de dominante dimensie (het leerde een gewicht 4,7$\times$ de initiële waarde) en onderdrukte dimensies met negatieve correlaties (bijv. query–output alignment), waardoor inzichten uit offline ablatie-studies werden herwonnen.

Betekenis en Claims
Het artikel claimt dat PoQ-Judge succesvol de implementatiekloof overbrugt tussen offline meerdimensionale scoring en live gedecentraliseerde inferentie. Door aan te tonen dat compacte encoder-modellen getraind via een tweefasige pipeline beter kunnen presteren dan referentie-gebaseerde evaluatoren zonder toegang tot grondwaarheid-antwoorden, elimineert het framework de noodzaak om referentie-antwoord databases te onderhouden en te distribueren in gedecentraliseerde netwerken.

De auteurs positioneren dit werk als een volledige pipeline-extensie van hun eerdere PoQ-onderzoek (kosteneffectieve beloningen, robuuste aggregatie en meerdimensionale scoring). Ze benadrukken dat hoewel het framework de levensvatbaarheid van referentievrije evaluatie voor PoQ-incentives valideert, de primaire openstaande uitdaging de kwaliteit van de grondwaarheid-proxy blijft, met name voor niet-extractieve taken zoals samenvatting. Het artikel claimt niet de algemene LLM-evaluatie op te lossen, maar richt zich specif