💻 computer science

Computer Science Conferences Should Require Nonrepudiable Experimental Results

Dit standpuntdocument betoogt dat informaticaconferenties onherroepelijke en niet-ontkenbare protocollen moeten aannemen om gerapporteerde experimentele resultaten cryptografisch te koppelen aan feitelijke berekeningen, waarbij huidige verificatiekloven worden aangepakt via een formeel bedreigingsmodel en een referentie-implementatie genaamd K-Veritas.

Oorspronkelijke auteurs: Mamadou K. Keita, Christopher Homan

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mamadou K. Keita, Christopher Homan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: "Vertrouw me, bro" Wetenschap

Stel je voor dat je een jurylid bent bij een kookwedstrijd. Een chef presenteert een recept en beweert dat zijn taart de beste ter wereld is. Hij geeft je een foto van de taart en een schriftelijke beschrijving van hoe hij die heeft gemaakt.

Het huidige systeem werkt als volgt: De chef tekent een checklist met de verklaring: "Ja, ik heb echte eieren gebruikt," en "Ja, ik heb het 30 minuten gebakken." Hij laat je misschien zelfs een video zien van het bakproces. Maar hier zit de adder onder het gras: De chef heeft de controle over de video. Hij zou de video kunnen hebben bewerkt om een echte taart te tonen, terwijl hij je eigenlijk een kartonnen uitknipje serveert. Of hij zou 50 taarten kunnen hebben gebakken, degene die perfect zag eruit hebben geselecteerd, en je kunnen vertellen dat dit de enige taart was die hij maakte.

In de informatica, specifiek bij Machine Learning (AI), gebeurt precies dit. Onderzoekers presenteren artikelen met tabellen van cijfers (resultaten) en checklists. Recensenten (de juryleden) zijn druk en kunnen de experimenten niet opnieuw uitvoeren. Ze moeten de cijfers op geloof accepteren. De auteurs van dit artikel betogen dat dit systeem gebroken is omdat het vertrouwen stelt in eerlijkheid in plaats van in bewijs.

Het Voorgestelde Oplossing: De "Black Box" Kwitantie

De auteurs stellen een nieuwe regel voor voor informaticaconferenties: Experimentele Nonrepudiatie.

Denk hierbij aan een vervalvaste kwitantie voor een wetenschappelijk experiment.

Nonrepudiatie is een chique beveiligingswoord dat betekent: "Je kunt niet ontkennen dat je dit hebt gedaan, en je kunt het verslag later niet wijzigen."
Het doel is om de cijfers in het artikel te koppelen aan het werkelijke moment waarop de computer het werk heeft verricht, op een manier die de auteur niet kan vervalsen of wijzigen.

Hoe Het Zou Werken (De "K-Veritas" Tool)

De auteurs hebben een prototype-tool genaamd K-Veritas gebouwd om te tonen dat dit mogelijk is. Hieronder wordt uitgelegd hoe het werkt, met behulp van een metafoor:

Stel je voor dat de onderzoeker een chef is en de computer de keuken.

De Wrapper: In plaats van de computer alleen te vertellen om "de taart te bakken", gebruikt de onderzoeker een speciale tool (K-Veritas) die het bakproces omhult.
De Stille Getuige: Deze tool fungeert als een stille, onafhankelijke getuige die in de keuken staat. Hij raakt de ingrediënten (de data) niet aan en verandert het recept (de code) niet. Hij kijkt alleen toe.
De Snapshot: Terwijl de computer werkt, maakt de getuige momentopnamen van:
- De exacte code die wordt gebruikt.
- De tijd die het duurde.
- Het verbruik van elektriciteit en warmte (om te bewijzen dat de machine daadwerkelijk hard werkte).
- De uiteindelijke cijfers die de computer heeft afgedrukt.
De Verzegelde Envelop: Zodra het experiment klaar is, verzegelt de getuige al deze momentopnamen in een digitale "envelop" en ondertekent deze met een speciale sleutel die alleen de getuige heeft. De onderzoeker krijgt deze sleutel nooit.
Het Resultaat: De onderzoeker dient zijn artikel in samen met deze ondertekende envelop. De juryleden van de conferentie kunnen de envelop openen en verifiëren: "Heeft de computer echt 40 minuten gerend? Stemde de code overeen? Komen de cijfers overeen met wat er is afgedrukt?"

Als de onderzoeker later probeert een cijfer in het artikel te wijzigen, breekt de verzegeling en wordt de handtekening ongeldig.

Waarom Huidige Methoden Falen

Het artikel legt uit waarom de huidige "veiligheidsnetten" niet werken:

Checklists: Een chef vragen een papier te tekenen met de tekst "Ik heb echte eieren gebruikt", bewijst niet dat ze geen plastic eieren hebben gebruikt.
Code Delen: Alleen omdat de chef het recept deelt, betekent niet dat hij de taart heeft gebakken die hij beweerde te hebben gebakken. Hij kan een werkend recept delen, maar resultaten rapporteren van een andere, betere taart die hij in het geheim heeft gebakken.
Logboek Tools: Hulpmiddelen die voortgang bijhouden, zijn als een dagboek geschreven door de chef. Als de chef een fout wil verbergen, kan hij het dagboek gewoon bewerken.
Pre-registratie: Dit is alsof de chef voor hij begint belooft: "Ik zal een chocoladetaart bakken." Dit voorkomt dat ze het plan veranderen, maar het bewijst niet dat ze daadwerkelijk de taart hebben gebakken of dat de gerapporteerde cijfers echt zijn.

De "Valse Review" Connectie

Het artikel maakt een slimme vergelijking:

Topconferenties (zoals ICML) verbieden recensenten nu om AI te gebruiken voor het schrijven van reviews. Waarom? Omdat de gemeenschap niet kan onderscheiden of een review echt menselijk denken is of nep tekst van een robot.
De auteurs betogen: Als we een nep review niet kunnen vertrouwen, kunnen we een nep resultaat zeker niet vertrouwen. Als een review bewijs van menselijkheid nodig heeft, heeft een wetenschappelijk resultaat bewijs van berekening nodig.

Wat Deze Tool Kan en Niet Kan

De auteurs zijn eerlijk over de beperkingen van hun tool (K-Veritas):

Het stopt: Bedrog met teksteditors, het vervalsen van cijfers, het bewerken van logboeken achteraf, of het claimen dat je een groot experiment hebt uitgevoerd terwijl je dat niet deed.
Het stopt niet: Een supergeavanceerde hacker die het besturingssysteem of de hardware van de computer zelf kan misleiden (zoals een nep GPS-signaal).
De Ruil: Zelfs als het niet elke mogelijke bedrieger stopt, verhoogt het de kosten van bedrog. Op dit moment vereist bedrog slechts een teksteditor. Met dit systeem zou je daadwerkelijk het dure computerexperiment moeten uitvoeren of de hersenen van de computer moeten hacken.

De Weg Vooruit

De auteurs zeggen niet dat K-Veritas het definitieve antwoord is. Ze noemen het een "testomgeving" (een prototype). Ze stellen een drie-stappenplan voor voor de gemeenschap:

Vrijwillig: Laat onderzoekers het gebruiken als ze een "Geverifieerd" badge willen krijgen.
Verwacht: Maak het standaardpraktijk, net zoals het delen van code standaard wordt.
Verplicht: Vereis het uiteindelijk voor alle artikelen met experimentele resultaten.

De Conclusie

Wetenschap is gebouwd op vertrouwen, maar vertrouwen heeft bewijs nodig. Dit artikel betoogt dat informaticaconferenties moeten stoppen met onderzoekers te vragen "alsjeblieft eerlijk te zijn" en moeten beginnen met het vereisen van digitale kwitanties die bewijzen dat de cijfers in het artikel afkomstig zijn van een echte, ongewijzigde computerloop. Het gaat om de overstap van "Vertrouw me" naar "Laat me de kwitantie zien."

Technische Samenvatting: Computerwetenschapsconferenties Moeten Niet-ontkenbare Experimentele Resultaten Vereisen

Probleemdefinitie
Het artikel identificeert een structurele "verificatiekloof" in conferenties voor computerwetenschappen, met name binnen machine learning (ML). Huidige maatregelen voor reproduceerbaarheid – zoals zelfgerapporteerde checklists (bijv. NeurIPS), optionele artefactevaluatie, door auteurs beheerde logplatforms (bijv. Weights & Biases) en pre-registratie – slagen er niet in om gerapporteerde numerieke resultaten te koppelen aan de daadwerkelijke uitvoering van de code die ze heeft gegenereerd. Deze mechanismen verifiëren de intentie om openheid te geven of de bruikbaarheid van code, maar ze kunnen de fundamentele vraag niet beantwoorden: "Heeft de in dit artikel beschreven trainingsexperiment de resultaten die dit artikel rapporteert, daadwerkelijk opgeleverd?"

De auteurs definiëren deze specifieke faalmodus als niet-ontkenbaarheid van experimenten. Geleend uit de veiligheidsliteratuur definiëren ze dit als het eigenschap waarbij een auteur later niet kan wijzigen, ontkennen of verkeerd kan voorstellen wat hun berekening daadwerkelijk heeft opgeleverd. Het huidige systeem vertrouwt op vertrouwen in zelfrapportage, waardoor de gemeenschap kwetsbaar blijft voor fabricage op tekstniveau, manipulatie van logs en selectieve rapportage van gunstige runs.

Methodologie en Voorgestelde Oplossing
Om dit aan te pakken, stellen de auteurs een protocol voor voor het genereren van vervalsmakelijke, niet-ontkenbare attestaties van experimentele resultaten. De kern van hun methodologie is een protocol dat moet voldoen aan zes specifieke beveiligingseigenschappen:

Passiviteit: De waarnemer mag de berekening niet wijzigen.
Data-blindheid: De waarnemer mag nooit toegang krijgen tot de dataset $D$ , zodat proprietaire data privé blijft.
Uitvoeringskoppeling: Gerapporteerde metrieken moeten cryptografisch gekoppeld zijn aan het specifieke uitvoeringsinstantie, geverifieerd via runtime-telemetrie (CPU/GPU-gebruik, geheugen).
Vervalserkenning: Elke wijziging in het rapport (metrieken, hyperparameters, tijdstempels) moet de cryptografische handtekening ongeldig maken.
Scheiding van auteurs- en sleutel: De ondertekeningssleutel moet worden bewaard door een onafhankelijke attestatiedienst, niet door de auteur, om te voorkomen dat de auteur willekeurige attestaties kan genereren.
Onafhankelijke verifieerbaarheid: Elke derde partij moet de attestatie kunnen valideren met een publieke sleutel zonder de auteur te vertrouwen.

Om de hanteerbaarheid van dit probleem aan te tonen, hebben de auteurs K-Veritas gebouwd, een referentie-implementatie in Go. K-Veritas fungeert als een zelfstandige binary-wrapper die auteurs aanroepen via een commando-voorvoegsel (bijv. kveritas run -- python train.py). Het werkt als volgt:

Vastlegging: Het legt stdout/stderr vast zonder blokkering, parseert metrieken en hasht bronbestanden voor en na uitvoering.
Telemetrie: Een achtergrondsamplet registreert hardwaregebruik (CPU-tijd, geheugen, GPU-gebruik) in intervallen.
Verzegeling: Bij het sluiten van de sessie wordt een canonieke SHA-256-digest van de hele sessie berekend (bestandshashes, stdout-streams, metrieken, hardware-samples).
Ondertekening: Het stuurt alleen deze 64-karakter digest naar een externe attestatiedienst. De dienst, die de privésleutel bezit, retourneert een RSA-PSS-handtekening. De auteur ziet de privésleutel nooit.
Output: Het systeem genereert een ondertekend PDF-rapport en een ondertekend archief met de broncode die tijdens uitvoering aanwezig was.

Resultaten en Demonstraties
Het artikel presenteert twee primaire vormen van bewijs:

De "Ongeloofwaardige Tabel"-oefening: De auteurs tonen aan dat twee tabellen met resultaten – één van een echte run en één gegenereerd door een taalmodel om geloofwaardig te zijn – voor een menselijke reviewer niet van elkaar te onderscheiden zijn. Dit illustreert dat geloofwaardigheid geen vervanging is voor authenticiteit.
K-Veritas Testomgeving: De auteurs voerden K-Veritas uit op twee verschillende trainingsexperimenten: een synthetische Keras LSTM en een op SST-2 fijngefineerde RoBERTa-base. Het systeem slaagde erin om het volgende vast te leggen:
- Hardwarevingerafdrukken (GPU/CPU-modellen).
- Trainingsduur en finale metrieken (verlies, nauwkeurigheid).
- Hashes van broncode en stdout.
- Een "Hardware-Metriek Consistentie (HMC)"-score, die anomalieën aangeeft (bijv. een gerapporteerde metriek zonder bijbehorende hardwareactiviteit).
- Geldige RSA-PSS-handtekeningen.

De auteurs merken expliciet op dat K-Veritas een testomgeving is, geen voltooide oplossing. Het voorkomt succesvol occasionele en gematigde fabricage (tekstbewerking, logmanipulatie, naïeve selectieve rapportage), maar erkent dat het niet in staat is om bevoorrechte tegenstanders met kernel- of firmware-toegang te verslaan (bijv. OS-niveau telemetrie-spoofing).

Belangrijkste Bijdragen

Conceptuele Definitie: Het artikel definieert formeel "niet-ontkenbaarheid van experimenten" als een apart probleemtype, gescheiden van reproduceerbaarheid (kan het opnieuw worden uitgevoerd?) en replicabiliteit (levert het hetzelfde resultaat op?).
Bedreigingsmodel: Het schetst een uitgebreid bedreigingsmodel, waarbij onderscheid wordt gemaakt tussen aanvallen die alleen door software-protocollen kunnen worden verslagen (fabricage, logbewerking) en die welke niet kunnen (kernel/hardware-compromittering).
Protocolspecificatie: Het definieert de noodzakelijke beveiligingseigenschappen voor elk compliant protocol, met nadruk op de scheiding van de ondertekeningssleutel van de auteur.
Implementatie: Het biedt K-Veritas als een proof-of-concept dat een dergelijk protocol kan worden geïmplementeerd zonder dat auteurs gevoelige data hoeven te delen of hun kerntrainingslogica hoeven aan te passen.

Betekenis en Claims
Het artikel betoogt dat niet-ontkenbaarheid moet worden behandeld als een eersteklas vereiste voor conferenties in de computerwetenschappen, vergelijkbaar met het verbod op door AI gegenereerde reviews bij ICML 2025. De auteurs claimen dat net zoals de gemeenschap gefabriceerde reviews erkent als een bedreiging die beleidsinterventie vereist, gefabriceerde resultaten met dezelfde ernst moeten worden behandeld.

De betekenis van het werk ligt in het verschuiven van de bewijslast van "vertrouw de auteur" naar "verifieer de uitvoering". De auteurs stellen een drie-fasen adoptiepad voor (Vrijwillig $\to$ Verwacht $\to$ Vereist) over een horizon van 3–8 jaar. Ze benadrukken dat hoewel het systeem niet perfect is tegen staatsadversarissen, het fundamenteel de economische kosten van fabricage verandert: het verschuift de kosten van een simpele teksteditor naar de vereiste om echte berekeningen uit te voeren of een kernel te compromitteren.

Het artikel sluit af met een oproep tot een onafhankelijke, non-profitorganisatie om de standaard te beheren, zodat geen enkele entiteit de verificatie van wetenschappelijke legitimiteit controleert. Het kader wordt gepresenteerd als generaliseerbaar buiten ML om naar elk vakgebied dat afhankelijk is van computationele pijplijnen voor empirische claims.