Expectations and Practices around AI Disclosure in CS Research
Diese Arbeit untersucht die Diskrepanz zwischen aktuellen Richtlinien zur Offenlegung von KI und den Erwartungen von Forschenden in der Informatik und zeigt auf, dass Forschende zwar die Offenlegung der KI-Nutzung für Aufgaben mit geringer Beteiligung, wie etwa das Forschungsdesign, priorisieren, die tatsächliche Offenlegungspraxis jedoch häufig weniger kritische Nutzungen, wie die Schreibunterstützung, überberichtet, was Empfehlungen zur besseren Abstimmung der Richtlinien mit diesen Erwartungen nahelegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den modernen Laboratorien der Informatik hat sich still und leise eine neue Art von Assistenten niedergelassen. Es handelt sich um generative Werkzeuge der künstlichen Intelligenz, Software, die in der Lage ist, Sätze zu schreiben, Code zu debuggen und Ideen mit einer Eloquenz zu strukturieren, die für Maschinen einst unmöglich schien. Forscher haben begonnen, sich auf sie zu verlassen, um ihre Arbeit zu beschleunigen – vom ersten Funken einer Idee bis hin zum letzten Schliff eines Manuskripts. Diese Bequemlichkeit hat jedoch eine leise, aber dringliche Debatte innerhalb der wissenschaftlichen Gemeinschaft ausgelöst: Wenn eine Maschine beim Schreiben eines Papers hilft, wer erhält die Anerkennung, und wie viel dieser Hilfe sollte dem Leser gegenüber offengelegt werden? Der Kern des Problems ist das Vertrauen. Die Wissenschaft beruht auf dem Verständnis, dass die präsentierte Arbeit das Produkt menschlichen Denkens und Bemühens ist. Wenn ein Werkzeug die schwere Arbeit übernimmt, könnte die Integrität der Entdeckung gefährdet sein, sofern der Leser nicht genau weiß, was von einem Menschen und was von einer Maschine gemacht wurde. Folglich haben viele führende Konferenzen der Informatik begonnen, von Autoren zu verlangen, eine Erklärung über die Verwendung dieser Werkzeuge einzufügen – eine Regel, die darauf abzielt, Transparenz in einer Ära des raschen technologischen Wandels zu wahren.
Ein Forschungsteam am Indian Institute of Science in Bengaluru machte sich daran zu untersuchen, ob diese neuen Regeln tatsächlich wie beabsichtigt funktionieren. Sie wollten wissen, ob die von den Konferenzorganisatoren geschriebenen Richtlinien mit dem übereinstimmten, was Forscher tatsächlich für notwendig hielten, und ob die Erklärungen, die Autoren in ihren Papern verfassten, diese Erwartungen widerspiegelten. Um dies zu erreichen, untersuchten sie zunächst die Regeln selbst. Sie prüften die Richtlinien von fünfundsechzig bedeutenden Informatik-Konferenzen und den vier größten Fachgesellschaften des Feldes. Sie fanden heraus, dass zwar die meisten dieser Veranstaltungsorte nun eine Richtlinie zur Offenlegung haben, die Regeln jedoch oft vage sind. Sie sagen den Autoren, sie sollen ehrlich sein, spezifizieren aber selten genau, welche Aufgaben eine Erwähnung erfordern oder welche Details enthalten sein müssen. Es ist, als würde ein Lehrer seinen Schülern sagen, sie sollen „vorsichtig mit ihren Hausaufgaben sein“, ohne zu erklären, was „vorsichtig“ für verschiedene Aufgaben bedeutet.
Um diese Lücken zu füllen, stellten die Forscher einhundertneunundzwanzig Informatikern eine einfache Frage: Für welche Teile des Forschungsprozesses ist es wirklich wichtig, zuzugeben, dass man ein KI-Werkzeug verwendet hat? Sie legten den Forschern eine Liste von einundzwanzig gängigen Aufgaben vor, die von der Generierung neuer Ideen und dem Design von Experimenten bis hin zum Schreiben von Code und dem Polieren der Grammatik reichten. Sie baten sie auch, zu berücksichtigen, wie viel menschliche Kontrolle bei jeder Aufgabe involviert war. Die Ergebnisse waren aufschlussreich. Die Forscher fanden heraus, dass die Gemeinschaft im Allgemeinen zustimmt, dass die Offenlegung am kritischsten ist, wenn KI für die schwere intellektuelle Arbeit eingesetzt wird, wie etwa das Design der Studie, die Analyse von Daten oder die Formulierung neuer Hypothesen. In diesen Bereichen ist der menschliche Beitrag am anfälligsten dafür, vom Computer überschattet zu werden. Im Gegensatz dazu wurde die Nutzung von KI, um lediglich Tippfehler zu korrigieren, Sätze umzuformulieren oder Referenzen zu formatieren, als weitaus weniger kritisch für die Offenlegung angesehen. Interessanterweise spielte das Ausmaß der menschlichen Kontrolle eine immense Rolle. Wenn ein Forscher ein KI-Werkzeug nutzte, aber eine genaue Aufsicht behielt, indem er jeden Output überprüfte und die endgültigen Entscheidungen traf, fühlte sich die Notwendigkeit der Offenlegung geringer an. Doch wenn die KI mit wenig Aufsicht arbeiten durfte, stieg die Forderung nach Transparenz drastisch an.
Das Team wandte sich dann der Frage zu, was in der realen Welt tatsächlich geschah. Sie sammelten und analysierten fast vierzehntausend Offenlegungserklärungen aus Papern, die zu zwei großen Konferenzen, EMNLP und ICLR, eingereicht wurden. Sie verglichen diese realen Erklärungen mit den Erwartungen, die sie zuvor durch ihre Umfrage gewonnen hatten. Die Kluft zwischen dem, was die Menschen wollten, und dem, was sie erhielten, war erschreckend. Während die Forscher festgestellt hatten, dass die wichtigsten Offenlegungen die Verantwortung und die spezifischen durchgeführten Aufgaben betreffen, versäumten es die überwältigende Mehrheit der untersuchten Arbeiten, diese Informationen anzugeben. Stattdessen waren die häufigsten Offenlegungen für genau jene Aufgaben, die die Gemeinschaft als am wenigsten wichtig erachtete: das Editieren von Texten und das Korrigieren von Code. In vielen Fällen schrieben Autoren kurze, generische Sätze, in denen sie zugaben, KI zum „Polieren“ verwendet zu haben, ließen aber jegliche Erwähnung darüber aus, ob die KI auch bei der Kernwissenschaft geholfen hatte.
Die vielleicht besorgniserregendste Entdeckung war das Vorhandensein identischer, kopierter Erklärungen, die in Dutzenden unzusammenhängender Arbeiten auftauchten. Ein spezifischer Absatz, der Standard-KI-Nutzungen auflistete und die Verantwortung dementierte, erschien wortgetreu in fünfundneunzig verschiedenen Einreichungen zu einer einzigen Konferenz. Dies deutte darauf darauf hin, dass die Offenlegung für viele Autoren zu einem bloßen „Häkchen setzen“ geworden war, statt zu einem echten Bericht über ihren Arbeitsablauf. Die Forscher stellten fest, dass, obwohl einige dieser Erklärungen umfassend waren, deren Wiederholung in unzusammenhängenden Arbeiten auf eine performative Compliance hindeutete – ein Zustand, in dem Autoren die Buchstaben der Regel befolgten, ohne sich mit ihrem Geist auseinanderzusetzen. Die Studie fand auch heraus, dass Autoren selten erwähnten, welches spezifische KI-Modell sie verwendet hatten, obwohl viele Leser diesen Detailgrad explizit gefordert hatten.
Basierend auf diesen Erkenntnissen schlagen die Forscher eine Änderung in der Art und Weise vor, wie diese Richtlinien verfasst werden. Sie schlagen vor, sich von breiten „Einheitsregeln“ zu bewegen und statischerweise ein System einzuführen, das Forschungsaufgaben nach der Notwendigkeit der Offenlegung kategorisiert. Sie empfehlen, dass Konferenzen eine klare Liste erstellen, in der bestimmte hochsensible Aufgaben, wie das Design eines Experiments, als obligatorisch für die Offenlegung markiert sind, während Aufgaben mit geringem Risiko, wie das Formatieren von Referenzen, optional sind. Um Autoren dabei zu helfen, zu navigieren, haben sie zudem eine einfache Vorlage entworfen, die Autoren ausfüllen können. Diese Vorlage würde sie dazu anhalten, genau aufzulisten, bei welchen Aufgaben die KI geholfen hat, wie viel menschliche Aufsicht involviert war und explizit zu erklären, dass die Autoren die volle Verantwortung für das fertige Werk übernehmen. Das Ziel ist nicht, die Nutzung hilfreicher Werkzeuge zu bestrafen, sondern sicherzustellen, dass die Beziehung zwischen dem menschlichen Forscher und der Maschine klar, ehrlich und vertrauenswürdig ist. Durch die Abstimmung der Regeln auf die tatsächlichen Erwartungen der wissenschaftlichen Gemeinschaft soll die Hoffnung bestehen, dass Transparenz gewahrt bleibt, ohne die echten Vorteile, die diese neuen Werkzeuge für den Forschungsprozess bringen, zu ersticken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.