Technische Samenvatting: Beyond Shapley: Een op invloed gebaseerd datapipeline voor de auditing van LLM-alignment en evaluatie

Probleemstelling

De alignment van Large Language Models (LLM's) wordt steeds vaker beperkt door datakwaliteit in plaats van modelarchitectuur. Naarmate datasets schalen, accumuleren massale corpora voor voorkeursvoorkeuren (preference tuning) en instructie-afstemming (instruction-tuning) verborgen structurele tegenstrijdigheden, veiligheidsrisico's en systematische menselijke annotatiefouten. Huidige auditmethode kampen met aanzienlijke beperkingen:

• Semantische Deduplicatie: Effectief in het vinden van tekstuele duplicaten, maar faalt in het vastleggen van de functionele bruikbaarheid of de voorspellende impact van individuele records.
• LLM-as-a-Judge: Hoewel schaalbaar, vertrouwen deze methoden op door mensen gedefinieerde rubrieken, vertonen ze vaak biases (bijv. naar de lengte van een antwoord) en kunnen ze niet wiskundig bepalen hoe een record de voorspellende distributie van een model beïnvloedt.
• Data Shapley: Biedt een rigoureus kader voor datavalutatie, maar is computationeel onhaalbaar ($O(2^N)$) voor grote datasets. Bestaande benaderingen missen ofwel granulariteit op recordniveau (door groepering) of zijn beperkt tot classificatie-/regressietaken, waardoor ze niet in staat zijn de mechanica van generatieve LLM's aan te pakken.

Er is een kritieke kloof in het vermogen om puntgewijze, record-niveau datavalutatie uit te voeren voor generatieve LLM's zonder dat daarvoor computationeel dure modelretraining of iteratieve datamodellering vereist is.

Methodologie

De auteurs stellen een schaalbare, inference-only datavalutatiepipeline voor die de Shapley-waarde benadert door de marginale bijdrage van datapunten te meten via conditionele log-likelihood verschuivingen. De workflow bestaat uit twee primaire fasen:

Fase 1: Invloedmeting

1. Constructie van Semantische Buurten: Prompts worden geprojecteerd in een dichte vectorruimte (met behulp van Qwen3-Embedding-4B). Statische systeeminstructies worden verwijderd om vectorverwatering te voorkomen. Een $k$-Nearest Neighbor ($k$-NN) graaf wordt geconstrueerd op basis van cosinus-gelijkenis.
2. Zero-Shot en One-Shot Scoring: Voor een target record $(x_i, y_i)$ en een buur $(x_j, y_j)$ berekent de pipeline de conditionele log-likelihood van het target antwoord $y_i$ onder twee condities:
   • Baseline ($LL_{base}$): De waarschijnlijkheid van $y_i$ gegeven enkel $x_i$.
   • Probe ($LL_{probe}$): De waarschijnlijkheid van $y_i$ gegeven een samengestelde prompt waarbij $(x_j, y_j)$ dient als een one-shot demonstratie voorafgaand aan $x_i$.
3. Invloetberekening: De voorspellende invloed ($\Delta LL$) wordt gedefinieerd als het verschil: $\Delta LL_{i,j} = LL_{probe}(i, j) - LL_{base}(i)$. Een positieve $\Delta LL$ duidt op een constructieve invloed, terwijl een negatieve waarde wijst op een gedragsmatige tegenstrijdigheid waarbij de buur de voorspellende waarschijnlijkheid van de target verslechtert.
4. Constructie van een Gerichte Graaf: Een gerichte graaf $G=(V, E)$ wordt gebouwd waarbij de randen (edges) de stroom van invloed van buur naar target vertegenwoordigen, gewogen door $\Delta LL$.

Fase 2: Metriek Afleiding & Auditing

Uit de graaf worden drie metrieken voor elke node afgeleid:

• Exemplified Advantage (Passieve Invloed): Meet de geaggregeerde invloed die een record ontvangt van zijn binnenkomende buren. Hoge waarden suggereren redundantie.
• Exemplifying Advantage (Actieve Invloed): Meet de voorspellende bijdrage die een record uitoefent op zijn uitgaande buren. Dit benadert de Data Shapley-waarde door 1-shot in-context learning te behandelen als een zero-gradient surrogaat voor parameterupdates.
• One of a Kind Score (Topologische Uniekheid): Kwantificeert structurele uniekheid op basis van de asymmetrie van $k$-NN retrieval (records die buren ophalen maar zelf zelden worden opgehaald).

Detectie van Tegenstrijdigheden:

• Ongesuperviseerd (Impliciete Labels): Vlagt nodes waar de exemplified of exemplifying advantages onder een drempelwaarde ($\tau_{adv}$) vallen, specifelijk kijkend naar Mutual Nearest Neighbors (MNN) die elkaars voorspellende waarschijnlijkheid wederzijds verslechteren.
• Gesuperviseerd (Expliciete Labels): Een tweestaps proces voor reward modeling datasets. Eerst isoleert het "gold standard" (hoog door mensen beoordeelde) records met negatieve exemplifying advantages. Vervolgens wordt "Twin Verification" uitgevoerd door laag-beoordeelde buren met vergelijkbaar responsgedrag te vinden om inconsistenties tussen annotatoren te identificeren.

Belangrijkste Bijdragen

1. Invloed-gebaseerd Waarderingskader: Het artikel introduceert een zeer schaalbare, inference-only pipeline die de Shapley-waarden voor generatieve LLM's benadert. In tegenstelling tot eerdere methoden werkt het in $O(K)$ forward passes (waarbij $K$ de buurtgrootte is) zonder modelretraining of clustering, en generaliseert het naar open-ended generatie en pairwise preference data.
2. Detectie van Structurele Tegenstrijdigheden: De pipeline legt verborgen structurele tegenstrijdigheden bloot in veelgebruikte datasets (HelpSteer2 en HH-RLHF) die standaard gelijkenismetrieken missen. Het identificeert door mensen hoog gewaardeerde records die structurele fouten verbergen (bijv. feitelijke hallucinaties, genegeerde restricties) die de modelprestaties verslechteren.
3. Blootleggen van Benchmark Kwetsbaarheden: Door de evaluatiesplit van HH-RLHF te auditeren, toont het werk aan dat zeer capabele modellen frequent de veiligere of behulpzamere respons voorspellen, maar worden gestraft door objectief gebrekkige menselijke ground-truth labels, wat de kwetsbaarheid van de integriteit van huidige benchmarks onthult.

Experimentele Resultaten

De pipeline werd geëvalueerd op twee datasets met Qwen3.5-9B als target model en Gemini 3.1 Pro voor expert arbitrage.

Casestudy 1: HelpSteer2

• Proces: Toegepast op 21.362 records, met de focus op 8.434 records met een perfect menselijk hulpzaamheidsscore (4/4).
• Efficiëntie: De handmatige audit zoekruimte met 99,1% verminderd (van 8.434 records naar 77 kandidaat-paren).
• Bevindingen: Identificeerde 18 tegenstrijdigheidsparen en 10 unieke records die onterecht als perfect werden gelabeld. Fouten omvatten feitelijke hallucinaties (bijv. onjuiste kalenderdata), genegeerde formatteringrestricties en gefabriceerde academische citaties.
• Inzicht: Onthulde een "oppervlakkigheidsbias" in menselijke annotatie, waarbij structureel solide maar feitelijk frauduleuze tekst hoge scores kreeg.

Casestudy 2: HH-RLHF

• Audit van Trainingsdata: Identificeerde 4.238 tegenstrijdigheden en 2.841 unieke problematische records. Categorieën omvatten veiligheidschendingen (bijv. het belonen van toxische compliantie), hallucinaties, onbehulpzame ontwijking en structurele fouten.
• Audit van Evaluatiegegevens: Toegepast op de evaluatiesplit, waarbij 108 unieke records met bevestigde structurele tegenstrijdigheden werden geïsoleerd.
• Model Discrepantie: Wanneer getest op deze geïsoleerde "gebrekkige" records, steeg de mate van modeldiscrepantie met menselijke labels aanzienlijk vergeleken met de baseline:
  • Qwen3.5-9B (FT): Discrepantie steeg van 28,9% (volledige set) naar 62,04% (geverifieerde subset).
  • Qwen3.5-27B: Discrepantie steeg van 28,67% naar 75,00%.
  • Gemma3-12B: Discrepantie steeg van 38,34% naar 63,89%.
• Conclusie: De hoge discrepantieratio's bevestigen dat de modellen vaak het juiste gedrag voorspelden, maar dat de benchmark-labels objectief gebrekkig waren.

Betekenis en Beperkingen

Betekenis:
Het artikel biedt een wiskundig onderbouwd, efficiënt diagnostisch instrument om menselijke labelfouten te ontdekken en evaluatiebenchmarks te saneren. Het verschuift het paradigma van computationeel dure, op retraining gebaseerde Shapley-berekeningen naar een hanteerbare, inference-only aanpak die record-niveau granulariteit behoudt. Dit maakt de snelle identificatie van systematische annotatiefouten en de validatie van benchmark-integriteit mogelijk.

Beperkingen:

• Afhankelijkheid van Verificatie: De uiteindelijke verificatie vertrouwt op LLM-evaluatoren (bijv. Gemini), wat subjectieve biases en non-determinisme kan introduceren.
• Filter vs. Detector: De $\Delta LL$ metriek fungeert als een anomalie-filter dat de zoekruimte met ~99% verkleint, maar vereist nog steeds een arbiter om semantische regelconflicten te bevestigen.
• Precisie vs. Recall: Strikte drempelwaarden geven prioriteit aan precisie, wat betekent dat de pipeline niet alle datasetfouten vangt (bijv. de 108 geïsoleerde fouten in HH-RLHF verklaren niet de volledige ~30% discrepantieratio van basemodellen).
• Schaalbaarheid van Menselijke Ground Truth: Het vaststellen van grootschalige menselijke ground truth voor annotatiefouten blijft evenredig duur, wat de mogelijkheid beperkt om de recall van de pipeline volledig te valideren.