Report on reproducibility in condensed matter physics

Dieser Bericht fasst Empfehlungen einer interdisziplinären Zusammenarbeit zusammen, die darauf abzielen, die Reproduzierbarkeit und Replizierbarkeit in der Festkörperphysik durch die Einführung bewährter Praktiken und Richtlinien in allen Phasen des wissenschaftlichen Prozesses zu verbessern.

Das Wesentliche

🧊 Der Bericht: Warum die Physik ihre eigene „Reparatur-Box" braucht

Stell dir vor, die Festkörperphysik (die Wissenschaft von Materialien wie Metallen, Halbleitern und Supraleitern) ist wie ein riesiges, weltweites Bau-Team. Dieses Team hat in den letzten Jahrzehnten fantastische Dinge gebaut: Handys, Laser, Computerchips und MRI-Geräte. Sie verstehen, wie die Materie funktioniert, und erfinden ständig Neues.

Aber jetzt gibt es ein Problem. Das Team hat bemerkt, dass einige der Baupläne, die sie veröffentlicht haben, nicht mehr funktionieren, wenn andere Teams versuchen, sie nachzubauen.

Dieser Bericht ist wie ein Notruf und ein Reparaturplan, den eine große Gruppe von Wissenschaftlern, Journalisten und Experten verfasst hat. Sie haben sich in Pittsburgh getroffen, um zu sagen: „Wir müssen aufhören, nur die coolsten Ergebnisse zu zeigen, und anfangen, die Ergebnisse so zu bauen, dass sie wirklich haltbar sind."

Hier ist die Situation, einfach erklärt:

1. Das Problem: Der „Koch, der das Rezept versteckt"

In der Wissenschaft gibt es zwei wichtige Begriffe, die oft verwechselt werden:

• Reproduzierbarkeit: Du hast den Kochtopf, die Zutaten und das genaue Rezept des Autors. Kannst du den gleichen Kuchen backen?
• Replizierbarkeit: Du gehst in deine eigene Küche, kaufst deine eigenen Zutaten und versuchst, den gleichen Kuchen zu backen, ohne das Originalrezept zu sehen.

Das Problem in der Physik ist: Viele Autoren geben nur das Fertigfoto des Kuchens heraus, aber nicht das Rezept. Oder sie sagen: „Die Zutaten waren ganz besonders, aber ich sage dir nicht genau, welche Marke Mehl ich benutzt habe."
Wenn andere Wissenschaftler dann versuchen, den Kuchen nachzubauen, scheitern sie. Ist der Kuchen schlecht? Oder war das Rezept einfach unvollständig? Oft ist es beides.

Warum passiert das?

• Der „Coolness-Faktor": Zeitungen und Magazine wollen spannende Geschichten. Ein langweiliger Bericht, der sagt: „Es hat nicht funktioniert," wird selten gedruckt. Ein Bericht, der sagt: „Wir haben einen neuen Supraleiter bei Raumtemperatur gefunden!" (auch wenn er vielleicht falsch ist), wird sofort berühmt.
• Der Wettbewerbsdruck: Wissenschaftler müssen publizieren, um Stellen und Geld zu bekommen. Manchmal ist es verlockend, Daten zu „schönfärben" oder nur die Ergebnisse zu zeigen, die passen, und die anderen wegzulassen.
• Angst vor Nachahmung: Manche Forscher denken: „Wenn ich mein komplettes Rezept (Code und Daten) veröffentliche, stiehlt mir jemand die Idee." Also halten sie es geheim.

2. Die Folgen: Ein Haus aus Karten

Wenn die Baupläne nicht stimmen, baut das Team auf Sand.

• Verschwendetes Geld: Steuerzahler finanzieren Projekte, die auf falschen Ergebnissen basieren.
• Verlorene Zeit: Junge Wissenschaftler verbringen Jahre damit, Dinge zu erforschen, die gar nicht existieren.
• Vertrauensverlust: Wenn die Öffentlichkeit merkt, dass Wissenschaftler sich täuschen lassen oder betrügen (wie in einigen bekannten Skandalen um Supraleitung), verlieren alle das Vertrauen in die Wissenschaft.

3. Die Lösung: Der neue Bauplan (Die Empfehlungen)

Der Bericht schlägt vor, wie man das System repariert. Stell dir das wie eine neue Hausordnung für das Bau-Team vor:

Für die Wissenschaftler (Die Köche):

• Das ganze Rezept veröffentlichen: Wenn du einen Kuchen backst, gib nicht nur das Foto raus. Gib die genaue Menge Mehl, die Ofentemperatur und die Uhrzeit an.
• Alles teilen: Die rohen Daten (die rohen Eier und das Mehl) und die Computerprogramme (die Backmaschine) müssen für jeden zugänglich sein.
• Ehrlichkeit: Wenn du einen Fehler machst, sag es sofort. Ein korrigierter Kuchen ist besser als ein perfekter, gefälschter.
• Alle Varianten zeigen: Wenn du fünf Kuchen gebacken hast und nur einer gut aussieht, zeige auch die anderen vier. Sonst denkt jeder, du hättest nur einen perfekten Kuchen gebacken.

Für die Verlage (Die Zeitungen):

• Qualität vor Hype: Drucken Sie nicht nur die „coolsten" Geschichten. Drucken Sie auch Berichte, die sagen: „Das hat nicht funktioniert." Das ist genauso wichtig!
• Checklisten: Bevor ein Artikel gedruckt wird, muss geprüft werden: Sind die Daten da? Ist das Rezept vollständig?
• Offene Prüfung: Lass andere Leute den Artikel lesen, bevor er gedruckt wird, und lass sie ihre Namen dazu schreiben. So müssen alle ehrlich bleiben.

Für Universitäten und Geldgeber (Die Bauherren):

• Belohnung für Ehrlichkeit: Wenn ein Wissenschaftler seine Daten teilt oder einen Fehler korrigiert, soll das in seiner Bewertung zählen. Nicht nur die Anzahl der Artikel zählt.
• Geld für Nachprüfungen: Es braucht spezielle Fördergelder für Teams, deren einziger Job es ist, die Ergebnisse anderer zu überprüfen. Das klingt langweilig, ist aber essenziell, um sicherzustellen, dass das Haus nicht einstürzt.

4. Das Ziel: Ein stabiles Fundament

Der Bericht sagt im Grunde: „Wir lieben die Physik und ihre Entdeckungen. Aber damit wir in Zukunft noch bessere Technologien bauen können, müssen wir sicherstellen, dass unser Fundament fest ist."

Es geht nicht darum, die Wissenschaft zu verlangsamen, sondern sie robuster zu machen. Wie bei einem Brückenbau: Es ist besser, die Brücke erst einmal gründlich zu testen, bevor wir Millionen von Autos darauf fahren lassen.

Zusammengefasst:
Die Physik muss aufhören, nur auf den „Wow-Effekt" zu setzen und anfangen, auf Transparenz, Ehrlichkeit und Teilen zu setzen. Nur so können wir sicher sein, dass die Wunder der Zukunft (wie Quantencomputer oder neue Energiespeicher) wirklich funktionieren und nicht nur auf einem Illusionstrick basieren.

Technische Zusammenfassung

Technische Zusammenfassung: Bericht zur Reproduzierbarkeit in der Festkörperphysik

1. Das Problem (Hintergrund und Motivation)
Der Bericht adressiert die wachsende „Replikationskrise" in der Festkörperphysik (Condensed Matter Physics, CMP). Obwohl die Physik traditionell als datenreich und durch Naturgesetze invariant gilt, die eine Selbstkorrektur ermöglichen sollten, zeigen sich zunehmend Anzeichen, dass viele veröffentlichte Ergebnisse nicht replizierbar sind.

• Ursachen: Die Krise wird durch systemische Verzerrungen (Bias) verursacht, darunter eine Bevorzugung von sensationellen oder neuartigen Ergebnissen gegenüber nüchternen Daten („Inverse Occam's Razor"), mangelnde Transparenz in der Methodik, unzureichende Datenfreigabe und ein Anreizsystem, das Hochrangige Publikationen über Reproduzierbarkeit stellt.
• Folgen: Dies führt zu verschwendeten Forschungsressourcen, abgelenkten Karrieren junger Wissenschaftler und einem Vertrauensverlust in die wissenschaftliche Integrität. Konkrete Beispiele für gescheiterte Replikationen oder zurückgezogene Arbeiten umfassen Bereiche wie Raumtemperatur-Supraleitung, Majorana-Fermionen und Hochdruck-Supraleitung.
• Unterscheidung: Der Bericht unterscheidet strikt zwischen Reproduzierbarkeit (Erzielen konsistenter Ergebnisse mit denselben Eingangsdaten und Code) und Replizierbarkeit (Erzielen konsistenter Ergebnisse durch neue Experimente/Daten). In der CMP fehlt oft beides aufgrund unzureichender Dokumentation und fehlender Zugänglichkeit von Rohdaten und Protokollen.

2. Methodik
Der Bericht basiert auf den Ergebnissen der „International Conference on Reproducibility in Condensed Matter Physics", die im Mai 2024 an der University of Pittsburgh stattfand.

• Beteiligte: Eine interdisziplinäre Gruppe aus akademischen Forschern, Regierungsvertretern, Journalisten, Juristen, Verlagsvertretern und Experten für wissenschaftliche Integrität.
• Prozess: Die Methodik umfasste Vorträge, Paneldiskussionen zu Fallstudien (z. B. Majorana-Nullmoden, Dichtefunktionaltheorie) und intensive Arbeitsgruppen-Sitzungen (insgesamt 7 Stunden über 3 Tage).
• Analyse: Die Gruppe analysierte bestehende Hindernisse, verglich die CMP mit anderen Wissenschaftsbereichen (wie den Biowissenschaften) und entwickelte spezifische Empfehlungen für verschiedene Stakeholder (Forscher, Verlage, Institutionen, Förderorganisationen).

3. Schlüsselbeiträge und Empfehlungen
Der Bericht liefert einen umfassenden Katalog von Best Practices und politischen Empfehlungen, unterteilt in vier Hauptkategorien:

• A. Best Practices für Forscher (CMP):

  • Daten- und Code-Transparenz: Alle Autoren müssen vor der Veröffentlichung vollen Zugriff auf Primärdaten und Analyse-Software haben. Rohdaten und vollständige Parameterbereiche müssen offengelegt werden.
  • FAIR-Prinzipien: Streben nach „Findable, Accessible, Interoperable, Reusable" Daten, wobei auch unvollkommene Daten geteilt werden sollen, wenn FAIR-Standards nicht sofort erreichbar sind.
  • Vollständigkeit: Manuskripte müssen alle plausiblen Interpretationen und alternative Darstellungen der Daten enthalten (Vermeidung von Cherry-Picking).
  • Korrekturkultur: Autoren sollen verpflichtet sein, Fehler nach der Veröffentlichung durch Korrekturen oder Widerrufe zu beheben, ohne Stigmatisierung.

• B. Änderungen im wissenschaftlichen Publizieren:

  • Validität vor Attraktivität: Verlage sollen den Fokus von subjektiven „Novelty"-Kriterien auf objektive wissenschaftliche Validität und Datenqualität verlagern.
  • Datenpflicht: Statt vager Formulierungen („Daten auf Anfrage") soll die Verfügbarkeit vollständiger Daten und Skripte in zitierfähigen Repositorien zwingend vorgeschrieben werden.
  • Replikationsstudien: Verlage sollen spezifische Artikeltypen oder Sektionen für Replikationsstudien (auch mit negativen Ergebnissen) schaffen und diese fördern.
  • Offenes Peer-Review: Einführung von offenen Begutachtungsprozessen (z. B. offene Identitäten, offene Berichte), um die Qualitätssicherung zu erhöhen.

• C. Empfehlungen für Universitäten und Forschungslabore:

  • Bewertungskriterien: Daten und Code sollen als gleichwertige Forschungsoutputs wie Publikationen anerkannt werden (z. B. in Promotionen).
  • Anreizsystem: Die Abhängigkeit von Publikationsindizes (Impact Factors) soll reduziert werden.
  • Whistleblower-Schutz: Aktiver Schutz für Personen, die Bedenken bezüglich Reproduzierbarkeit oder Fehlverhalten melden, einschließlich unabhängiger Ombudsstellen.
  • Untersuchungen: Institutionen müssen transparente, rigorose Verfahren zur Untersuchung von Fehlverhalten etablieren, die über die reine Definition von Betrug (FFP) hinausgehen und auch „unzuverlässige Wissenschaft" (technische/interpretative Fehler) abdecken.

• D. Maßnahmen für Förderorganisationen:

  • Förderung von Replikation: Explizite Finanzierung von Studien, die darauf abzielen, frühere Ergebnisse zu replizieren oder zu widerlegen.
  • Antragspflicht: Förderanträge müssen Pläne zur Sicherstellung von Reproduzierbarkeit und Replizierbarkeit enthalten.
  • Belohnung: Negative Ergebnisse oder Ergebnisse, die frühere Behauptungen untergraben, sollen belohnt werden, um das Stigma zu entfernen.

4. Ergebnisse und Status Quo
Der Bericht stellt fest, dass die aktuelle Infrastruktur für Datenaustausch (z. B. Zenodo, Figshare) technisch vorhanden ist, aber kulturelle und institutionelle Barrieren die Nutzung verhindern.

• Es gibt keine einheitlichen Standards für die Berichterstattung in CMP-Teilbereichen.
• Die derzeitige Praxis führt dazu, dass viele Studien faktisch nicht replizierbar sind, da entscheidende Metadaten, Rohdaten oder Analyse-Skripte fehlen.
• Die Angst vor „Scoopings" (Diebstahl von Ideen) und der Mangel an Anreizen für transparente Arbeit sind Hauptblockaden.
• Der Bericht dokumentiert, dass die Gemeinschaft sich der Probleme bewusst ist, aber strukturelle Änderungen notwendig sind, um die Integrität der Wissenschaft zu wahren.

5. Bedeutung und Ausblick
Dieser Bericht ist ein Meilenstein für die Festkörperphysik, da er erstmals eine breite, konsensbasierte Strategie zur Bekämpfung der Replikationskrise in diesem spezifischen Feld vorlegt.

• Kultureller Wandel: Er fordert einen fundamentalen Wandel von einer Kultur der „Sensation" hin zu einer Kultur der „Verifizierbarkeit".
• Ressourceneffizienz: Durch verbesserte Reproduzierbarkeit können öffentliche Mittel effizienter genutzt werden, indem Zeit und Geld nicht in nicht replizierbare Pfade investiert werden.
• Langfristige Wirkung: Die Umsetzung dieser Empfehlungen soll die Zuverlässigkeit zukünftiger Entdeckungen in Schlüsseltechnologien (Quantencomputing, Supraleitung, Topologische Materialien) sichern und das Vertrauen in die wissenschaftliche Methode stärken.
• Ziel: Der Bericht dient als Grundlage für die Entwicklung subfeldspezifischer Mindeststandards und erwartet regelmäßige Assessments des Fortschritts.

Zusammenfassend fordert der Bericht eine proaktive Haltung: Primärmaterialien (Daten, Code, Protokolle) müssen so geteilt werden, dass Dritte den gesamten Analysepfad von den Rohdaten bis zu den Abbildungen nachvollziehen können, bevor oder während ein Peer-Review stattfindet.