Realistic quantum device data synthesized by consumer AI and how to identify it

Diese Arbeit zeigt auf, dass weit verbreitete kommerzielle KI-Werkzeuge unter Nutzung grundlegender physikalischer Gleichungen und Signalcharakteristika realistische experimentelle Daten für Quantenelektronik-Bauteile synthetisieren können, während sie gleichzeitig die Weitergabe großer Mengen an Primärdaten als Gegenmaßnahme zur Identifizierung solcher nicht offengelegten synthetischen Ergebnisse empfehlen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Koch, der jahrelang an einem geheimen Rezept für ein Quantenphysik-Gericht gefeilt hat. Sie veröffentlichen Ihr Rezept (Ihre Daten) in einem Kochbuch, damit andere es ausprobieren können. Aber nun hat ein sehr intelligenter, sehr schneller Küchenroboter gelernt, wie man kocht. Er kopiert nicht nur Ihr Rezept; er kann ein neues Gericht erfinden, das genau wie Ihr berühmtes Quanten-Essen aussieht, riecht und schmeckt, obwohl er es nie in einer echten Küche zubereitet hat.

Dieses Papier ist eine Warnung von zwei Wissenschaftlern (S. M. Frolov und O. V. Kravchenko) vor diesem „Küchenroboter“ (Consumer AI) und davor, wie er im Bereich der Quantenphysik gefälschte wissenschaftliche Ergebnisse erzeugen kann.

Hier ist die Aufschlüsselung ihrer Erkenntnisse in einfachen Worten:

1. Der Roboter kann ein gefälschtes Quanten-Essen kochen

Die Wissenschaftler testeten ein beliebtes KI-Tool (ChatGPTs „Data Analyst“), um zu sehen, ob es gefälschte Daten für komplexe Quantenexperimente erstellen kann. Sie baten die KI, Daten für Dinge wie Folgendes zu erfinden:

• Quantenbits (Qubits): Die winzigen Bausteine zukünftiger Supercomputer.
• Majorana-Fermionen: Exotische Teilchen, die helfen könnten, unknackbare Computer zu bauen.
• Quantenpunkte (Quantum Dots): Winzige Fallen für Elektronen.

Das Ergebnis: Die KI war überraschend gut darin. Da die Mathematik hinter diesen Experimenten wie eine Standardaufgabe aus einem Lehrbuch ist (ähnlich wie ein Koch die grundlegenden Regeln des Backens kennt), musste die KI keine echten Daten zuvor gesehen haben. Sie nutzte einfach die mathematischen Formeln, um einen neuen Datensatz von Grund auf neu zu „backen“. Die gefälschten Grafiken sahen so realistisch aus, dass sie einen Wissenschaftler beim flüchtigen Blick auf eine Arbeit leicht täuschen könnten.

2. Der Robote kann echte Daten „photoshoppen“

Es geht nicht nur darum, aus dem Nichts gefälschte Daten zu erstellen. Die KI kann auch reale Daten nehmen und sie subtil verändern, damit sie besser aussehen oder eine bestimmte Idee unterstützen.

• Die Analogie: Stellen Sie sich vor, Sie haben ein Foto eines bewölkten Himmels. Sie bitten die KI: „Lass es wie einen klaren, sonnigen Tag aussehen.“ Die KI zeichnet nicht einfach einen neuen Himmel; sie nimmt Ihr echtes Foto und übermalt vorsichtig nur einige Pixel, um eine Sonne hinzuzufügen und die Wolken zu entfernen.
• Das Beispiel aus dem Papier: Sie nahmen echte Daten, die ein „triviales“ (langweiliges) Ergebnis zeigten. Sie baten die KI, ein winziges, spezifisches Signal hinzuzufügen, das wie eine große wissenschaftliche Entdeckung aussieht (ein „Majorana-Peak“). Die KI tat dies so geschmeidig, dass das gefälschte Signal perfekt mit dem echten Rauschen verschmolz und ein langweiliges Experiment wie eine Nobelpreis-würdige Entdeckung aussehen ließ.

3. Der Roboter kann das „Summen“ der Maschine imitieren

Wissenschaftliche Instrumente (wie Lock-in-Verstärker) haben immer ein winziges Hintergrundrauschen, wie das Summen eines Kühlschranks. Echte Daten besitzen immer diesen spezifischen „Fingerabdruck“ des Rauschens.

• Die Wissenschaftler baten die KI, dem „Summen“ einer echten Maschine zuzuhören und dann neue gefälschte Daten zu generieren, die exakt dasselbe Summen aufweisen.
• Das Ergebnis: Die KI war erfolgreich. Sie konnte gefälschte Daten erzeugen, die genau so klangen und aussahen, als kämen sie aus einer echten Maschine in einem echten Labor.

4. Wie fangen wir den Roboter? (Der „lange Geschichte“-Test)

Wenn die KI so gut darin ist, ein paar schöne Grafiken zu fälschen, wie stoppen wir sie? Die Wissenschaftler fanden eine Schwachstelle im Gehirn des Roboters.

• Die Analogie: Stellen Sie sich vor, die KI ist ein Schüler, der eine Prüfung schreibt. Sie kann problemlos einen perfekten Essay zu einer Frage schreiben. Aber wenn man sie bittet, ein 500-seitiges Tagebuch aus dem Leben eines Schülers über 10 Jahre zu schreiben, wobei jedes Detail konsistent bleiben muss, macht sie Fehler. Sie vergisst vielleicht, was der Schüler am Dienstag in Kapitel 3 gegessen hat, oder widerspricht sich in Kapitel 10.
• Die Erkenntnis: KI ist großartig darin, ein paar hübsche Bilder (den „Essay“) zu erstellen. Aber sie hat Schwierigkeiten, lange, konsistente Sequenzen von Daten aus einem echten Experiment zu generieren, das sich über Wochen oder Monate erstreckte. Echte Experimente produzieren Tausende von Dateien mit komplexen Metadaten (Zeitstempel, Temperaturprotokolle, Maschineneinstellungen), die alle miteinander verknüpft sind. Die KI wird verwirrt, wenn sie versucht, all diese tausend Details konsistent zu halten, ohne zu „halluzinieren“ (Dinge zu erfinden).

Die Lösung: Teilt die ganze Küche

Das Papier kommt zu dem Schluss, dass die beste Methode gegen gefälschte Daten Transparenz ist.

• Zeigt nicht nur das fertige Gericht: Anstatt in der Publikation nur die schöne Grafik zu zeigen, sollten Wissenschaftler die gesamten Rohdaten (die „ganze Küche“) teilen.
• Warum es funktioniert: Es ist einfach für einen Roboter, eine einzelne Grafik zu fälschen. Es ist unglaublich schwer für einen Roboter, die tausenden Rohdateien, die Maschinenprotokolle und die unordentlichen, inkonsistenten menschlichen Notizen zu fälschen, die mit einem echten, monatelangen Experiment einhergehen. Wenn man nicht die ganze Geschichte zeigen kann, sollte man misstrauisch werden.

Kurz gesagt: Die KI kann nun überzeugende gefälschte wissenschaftliche Ergebnisse „zusammenkochen“, die an der Oberfläche perfekt aussehen. Um die Fälscher zu entlarven, müssen wir aufhören, nur auf das „servierte Gericht“ zu schauen, und stattdessen verlangen, die gesamte chaotische, rohe Küche zu sehen, in der das Kochen stattgefunden hat.

Technische Zusammenfassung

Technische Zusammenfassung: Durch Konsumenten-KI synthetisierte realistische Quantenbauteildaten und wie man diese identifiziert

Problemstellung
Die rasante Integration generativer Künstlicher Intelligenz (KI) in wissenschaftliche Arbeitsabläufe hat Bedenken hinsichtlich der Integrität von Forschungsdaten aufgeworfen. Während KI weitgehend für die Zusammenfassung von Literatur und die Automatisierung routinemäßiger Aufgaben eingesetzt wird, ist eine weniger bekannte Fähigkeit ihre Kapazität zur Synthese numerischer Daten. Das zentrale Problem, das hier adressiert wird, ist, ob eine Konsumenten-KI experimentelle Daten von Quantenelektronik-Bauteilen generieren kann, die für Experten nicht von echten Messungen zu unterscheiden sind. Speziell untersuchen die Autoren, ob KI in der Lage ist, charakteristische Signale der Quantenphysik – etwa von Transmon-Qubits, Majorana-Nanodrähten und Quantenpunkten – so zu imitieren, dass sie als veröffentlichungswürdig geglaubt werden könnten. Diese Fähigkeit birgt das Risiko der Datenfabrication, Fälschung oder subtilen Augmentierung, was die wissenschaftliche Gemeinschaft täuschen könnte, insbesondere da Publikationen oft nur einen Bruchteil der insgesamt gesammelten Daten präsentieren, was eine Verifizierung mittels „Augeninspektion“ von Abbildungen unzureichend macht.

Methodik
Die Autoren nutzten die Anwendung „Data Analyst“ innerhalb der ChatGPT-Umgebung von OpenAI (basierend auf Modellen im Bereich von Version 4o bis 5.4 zum Zeitpunkt der Niederschrift). Die Methodik umfasste drei primäre Ansätze:

1. Vollständig synthetische Datengenerierung: Das Team forderte die KI auf, tabellierte Datensätze basierend auf theoretischen Physikmodellen von Grund auf neu zu erstellen. Für supraleitende Transmon-Qubits wurde die KI angewiesen, die Schrödinger-Gleichung für einen spezifischen Hamiltonian zu lösen und dispersive Auslesesignale (Amplitude $S_{21}$ und Phase) auszugeben. Die Prompts enthielten Anweisungen zur Hinzufügung realistischer experimenteller Artefakte, wie etwa hochfrequentem Rauschen und Ladungssprüngen (charge jumps).
2. Datenausweitung (Data Augmentation): Die Autoren begannen mit realen experimentellen Tunnel-Spektroskopie-Daten aus einer zuvor veröffentlichten Studie über Majorana-Nanodrähte. Sie nutzten die KI, um spezifische Regionen der Daten zu modifizieren, beispielsweise durch das Hinzufügen eines Zero-Bias-Peaks oder die Verstärkung der Leitfähigkeit bei endlichem Bias, um einen topologischen Phasenübergang oder die Präsenz von Majorana-Nullmoden zu simulieren.
3. Rauschimitation (Noise Mimicry): Um die Fähigkeit der KI zu testen, gerätespezifische Charakteristika zu replizieren, stellten die Autoren reale Idle-Rauschspuren eines Stanford Research Systems SR830 Lock-in-Verstärkers bereit. Sie forderten die KI auf, die Fast-Fourier-Transformation (FFT) dieser Spuren zu analysieren und neue synthetische Signale zu generieren, die dem ursprünglichen Rauschspektrum entsprachen, während gleichzeitig Wellenamplituden und Phasen randomisiert wurden.

Wesentliche Ergebnisse

• Synthese ikonischer Quantensignale: Die KI generierte erfolgreich einen konsistenten Datensatz für ein supraleitendes Transmon-Qubit, einschließlich Single-Tone-Spektroskopie mit Level-Anticrossing, Two-Tone-Spektroskopie mit Grundzustand-zu-Angeregtem-Übergang sowie Zwei-Photonen-Übergängen und Rabi-Oszillations-„Chevron“-Mustern. Die synthetischen Daten enthielten realistische Merkmale wie Ladungssprünge und leistungabhängige Übergänge und erschienen visuell sowie mathematisch konsistent mit einer realen Bauteilcharakterisierung.
• Subtile Datenausweitung: Die Studie zeigte, dass KI in der Lage ist, reale Daten nahtlos zu ergänzen, um eine gewünschte Hypothese zu stützen. Durch das Hinzufügen eines schmalen, magnetfeldunempfindlichen Zero-Bias-Peaks zu realen Majorana-Nanodraht-Daten transformierte die KI einen „trivialen“ Datensatz in einen, der auf einen topologischen Supraleitungszustand hindeutet. Die Autoren merkten an, dass solche Modifikationen, die nur einen kleinen Bruchteil der Pixel betreffen, ohne Zugriff auf die Rohdaten schwer zu detektieren sind.
• Replikation von Instrumentenrauschen: Die KI war in der Lage, Rauschsignale zu erzeugen, die dem FFT-Spektrum eines realen Lock-in-Verstärkers unter verschiedenen Einstellungen (unterschiedliche Integrationszeiten und Filterflanken) entsprachen. Dies deutet darauf hin, dass KI das spezifische Rauschniveau gängiger Laborgeräte imitieren kann – ein Merkmal, das oft zur Validierung der Authentizität experimenteller Daten verwendet wird.
• Einschränkungen in der Konsistenz: Während die KI exzellent darin ist, isolierte Datensätze oder kurze Sequenzen zu generieren, hat sie Schwierigkeiten, die interne Konsistenz über lange, kontinuierliche Messserien aufrechtzuerhalten. Das Modell scheitert oft daran, die Historie von Datenmanipulationen über mehrere Iterationen hinweg zu verfolgen, was zu Inkonsistenzen führt, wenn versucht wird, lange Messsequenzen zu generieren oder zuverlässig zu einer vorherigen Datenversion „zurückzuspringen“.

Bedeutung und Schlussfolgerungen
Das Paper kommt zu dem Schluss, dass die Konsumenten-KI ein Niveau an Raffinesse erreicht hat, auf dem sie technisch überzeugende Forschungsdaten für Quantenbauteile synthetisieren kann, primär weil viele dieser Systeme durch etablierte, relativ einfache mathematische Modelle (z. B. Teilchen-im-Kasten, Zwei-Niveau-Systeme) gesteuert werden. Die Autoren argumentieren, dass die Leichtigkeit der Generierung solcher Daten die Barriere für Fabrications senkt und traditionelle Verifizierungsmethoden, wie die visuelle Inspektion von Abbildungen, obsolet macht.

Um dieser Bedrohung entgegenzuwirken, schlagen die Autoren vor, dass die effektivste Lösung der Austausch großer Volumina an Primärdaten ist, einschließlich Rohdateien, Metadaten und Akquisitionsskripten. Sie argumentieren, dass die KI zwar in der Lage ist, einige ausgewählte Figuren zu imitieren, derzeit aber nicht die Kapazität besitzt, konsistente Gigabyte-große Datensätze mit den komplexen, interdependenten Metadaten (Zeitstempel, Temperaturprotokolle, Instrumenteinstellungen) und der langfristigen internen Konsistenz zu generieren, die für ein echtes, monatelanges Experiment erforderlich sind. Das Paper betont, dass die unabhängige Replikation weiterhin die stärkste Validierungsmethode bleibt, die wissenschaftliche Gemeinschaft jedoch zu Open-Data-Praktiken übergehen muss, um die Verbreitung nicht offengelegter synthetischer Daten zu verhindern. Die Autoren fordern zudem die Integration von KI-Ethik in die breitere wissenschaftliche Ausbildung, um sicherzustellen, dass Forscher die Implikationen der Synthese von Daten verstehen.