Expectations and Practices around AI Disclosure in CS Research
Dit artikel onderzoekt de discrepantie tussen de huidige AI-openstellingsrichtlijnen en de verwachtingen van onderzoekers in de computerwetenschappen, waarbij wordt onthuld dat hoewel onderzoekers prioriteit geven aan het openstellen van AI-gebruik voor taken met een lage betrokkenheid zoals het onderzoeksontwerp, de feitelijke openstellingspraktijken minder kritieke toepassingen zoals schrijfhulp vaker overrapporteren, wat aanbevelingen stimuleert om beleid beter af te stemmen op deze verwachtingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne laboratorium van de computerwetenschappen heeft een nieuw soort assistent zich stilletjes gevestigd. Dit zijn generatieve kunstmatige intelligentie-instrumenten, software die in staat is zinnen te schrijven, code te debuggen en ideeën te organiseren met een vloeiendheid die ooit onmogelijk leek voor machines. Onderzoekers zijn begonnen hen te gebruiken om hun werk te versnellen, van de eerste vonk van een idee tot de laatste afwerking van een manuscript. Deze gemak dient echter als aanleiding voor een stil maar dringend debat binnen de wetenschappelijke gemeenschap: wanneer een machine helpt bij het schrijven van een artikel, wie krijgt dan de eer, en hoeveel van die hulp moet aan de lezer worden onthuld? De kern van het probleem is vertrouwen. Wetenschap rust op het begrip dat het gepresenteerde werk het product is van menselijke gedachte en inspanning. Als een hulpmiddel het zware werk doet, zou de integriteit van de ontdekking in gevaar kunnen komen, tenzij de lezer precies weet wat door een persoon is gedaan en wat door een machine is gedaan. Gevolgelijk zijn veel topconferenties in de computerwetenschappen begonnen met het verplichten van auteurs om een verklaring op te nemen waarin zij het gebruik van deze instrumenten openbaar maken, een regel die bedoeld is om transparantie te handhaven in een tijdperk van snelle technologische verandering.
Een team onderzoekers aan het Indian Institute of Science in Bengaluru begon te onderzoeken of deze nieuwe regels daadwerkelijk werken zoals bedoeld. Ze wilden weten of de beleidsregels geschreven door conferentieorganisatoren overeenkwamen met wat onderzoekers feitelijk noodzakelijk achtten, en of de verklaringen die auteurs in hun artikelen schreven, die verwachtingen weerspiegelden. Om dit te doen, bekeken ze eerst de regels zelf. Ze onderzochten de richtlijnen van vijfent zestig belangrijke conferenties in de computerwetenschappen en de vier grootste professionele verenigingen in het vakgebied. Ze ontdekten dat hoewel de meeste van deze podia nu een beleid hebben dat openbaarmaking vereist, de regels vaak vaag zijn. Ze vertellen auteurs dat ze eerlijk moeten zijn, maar specificeren zelden precies welke taken een vermelding vereisen of welke details moeten worden opgenomen. Het is alsof een leraar tegen studenten zegt: "wees voorzichtig met je huiswerk", zonder uit te leggen hoe "voorzichtig" eruitziet voor verschillende opdrachten.
Om de hiaten in te vullen, vroegen de onderzoekers aan eenentachtig computerwetenschappers een eenvoudige vraag: voor welke delen van het onderzoeksproces is het werkelijk belangrijk om toe te geven dat je een AI-instrument hebt gebruikt? Ze presenteerden de onderzoekers een lijst van eenentwintig veelvoorkomende taken, variërend van het genereren van nieuwe ideeën en het ontwerpen van experimenten tot het schrijven van code en het polijsten van grammatica. Ze vroegen hen ook om rekening te houden met de mate van menselijke controle bij elke taak. De resultaten waren onthullend. De onderzoekers vonden dat de gemeenschap er algemeen over eens is dat openbaarmaking het meest cruciaal is wanneer AI wordt gebruikt voor het zware intellectuele werk, zoals het ontwerpen van de studie, het analyseren van gegevens of het formuleren van nieuwe hypothesen. In deze gebieden is de menselijke bijdrage het meest kwetsbaar om te worden overschaduwd door de machine. Daartegenover stelden de onderzoekers vast dat het gebruik van AI om simpelweg typefouten te herstellen, zinnen te herformuleren of referenties te formatteren, als veel minder kritiek werd beschouwd om te onthullen. Interessant genoeg deed het niveau van menselijke controle er enorm toe. Wanneer een onderzoeker een AI-instrument gebruikte maar nauwlettend toezicht hield, waarbij elke output werd geverifieerd en de uiteindelijke beslissingen werden genomen, voelde de noodzaak tot openbaarmaking lager aan. Maar wanneer de AI de ruimte kreeg om met weinig toezicht te werken, steeg de roep om transparantie scherp.
Het team richtte vervolgens de aandacht op wat er in de echte wereld gebeurde. Ze verzamelden en analyseerden bijna veertien duizend verklaringen van openbaarmaking uit artikelen die waren ingediend bij twee belangrijke conferenties, EMNLP en ICLR. Ze vergeleken deze real-world verklaringen met de verwachtingen die ze zojuist uit hun enquête hadden verzameld. De kloof tussen wat mensen wilden en wat ze kregen, was verbijsterend. Hoewel de onderzoekers hadden gevonden dat de belangrijkste openbaarmakingen gingen over verantwoordelijkheid en de specifieke uitgevoerde taken, bevatten de overgrote meerderheid van de onderzochte artikelen deze informatie niet. In plaats daarvan waren de meest voorkomende openbaarmakingen voor de taken die de gemeenschap als minst belangrijk beschouwde: het bewerken van tekst en het corrigeren van code. In veel gevallen schreven auteurs korte, generieke zinnen waarin ze toegaven AI te hebben gebruikt voor het "polijsten", maar lieten ze elke vermelding weg over de vraag of de AI had geholpen bij de kern van de wetenschap.
Misschien wel de meest verontrustende ontdekking was de aanwezigheid van identieke, gekopieerde verklaringen die in tientallen ongerelateerde artikelen verschenen. Eén specifieke paragraaf, die standaard AI-gebruik opsomde en de verantwoordelijkheid afwees, verscheen integraal in vijfennegentig verschillende inzendingen voor één enkele conferentie. Dit suggereerde dat de openbaarmaking voor veel auteurs een vinkje was geworden om aan te kruisen, in plaats van een oprechte verantwoording van hun workflow. De onderzoekers merkten op dat hoewel sommige van deze verklaringen uitgebreid waren, hun herhaling over ongerelateerd werk duidde op een performatieve naleving, waarbij auteurs de letter van de regel volgden zonder de geest ervan te omarmen. De studie vond ook dat auteurs zel
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.