Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions

Die Studie zeigt, dass die Zuverlässigkeit von Large Language Models in der Materialwissenschaft stark vom Ausgabemodus abhängt, wobei Fine-Tuning symbolische Aufgaben verbessert, numerische Vorhersagen jedoch inkonsistent bleiben, und dass zudem eine „LLM-Kopf-Engpass"-Herausforderung sowie signifikante Leistungsschwankungen über die Zeit die Reproduzierbarkeit wissenschaftlicher Anwendungen beeinträchtigen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem klugen, aber manchmal etwas verwirrten Bibliothekar, der Millionen von Büchern über Materialien (wie Metalle, Keramiken oder Halbleiter) gelesen hat. Dieser Bibliothekar ist eine Künstliche Intelligenz (KI), genauer gesagt ein „Large Language Model" (LLM).

Die Forscher vom MIT haben diesen Bibliothekar getestet, um herauszufinden: Versteht er wirklich, worüber er spricht, oder tippt er nur zufällig die richtigen Wörter zusammen? Und das Wichtigste: Können wir ihm trauen, wenn er uns Zahlen nennt?

Hier ist die Geschichte ihrer Entdeckungen, einfach erklärt:

1. Der große Unterschied: Wörter vs. Zahlen

Die Forscher haben den Bibliothekar mit zwei Arten von Aufgaben getestet:

• Aufgabe A: Das Wort-Spiel (Symbolische Aufgaben)

  • Beispiel: „Nenne die Kristallstruktur von Eisen" oder „Ist dieses Material ein Halbleiter?"
  • Das Problem: Ohne Training war der Bibliothekar chaotisch. Er gab manchmal die richtige Antwort, dann wieder eine falsche, dann eine andere. Er wirkte unsicher.
  • Die Lösung: Wenn man ihn speziell für diese Fragen „trainiert" (fine-tuning), wird er plötzlich sehr zuverlässig. Er lernt die Muster und gibt immer die gleiche, korrekte Antwort.
  • Die Analogie: Es ist wie ein Schüler, der Vokabeln lernt. Am Anfang rät er wild herum. Nach dem Lernen weiß er genau, welches Wort zu welchem Bild passt.

• Aufgabe B: Das Zahlen-Raten (Numerische Aufgaben)

  • Beispiel: „Wie hoch ist die elektrische Leitfähigkeit?" oder „Wie groß ist die Bandlücke?"
  • Das Problem: Hier war der Bibliothekar übermütig. Ohne Training gab er sehr präzise Zahlen aus, die aber fast immer falsch waren. Er war sich sicher, dass er recht hat, obwohl er daneben lag. Man nennt das „selbstbewusste Halluzination".
  • Die Lösung: Training hilft ihm, die Zahlen genauer zu machen. Aber er bleibt immer noch etwas inkonsistent. Wenn Sie ihn zehnmal dieselbe Frage stellen, bekommt er zehnmal leicht unterschiedliche Zahlen.
  • Die Analogie: Stellen Sie sich einen Wettervorhersager vor, der ohne Training jeden Tag „Es wird genau 23,456 Grad" sagt. Das klingt professionell, ist aber Quatsch. Nach dem Training sagt er „Es wird 23 Grad" (besser!), aber manchmal 22,9 und manchmal 23,1. Er ist immer noch nicht perfekt verlässlich.

2. Das Geheimnis im Inneren: Der „Kopf-Engpass"

Das war die spannendste Entdeckung der Forscher.

Stellen Sie sich die KI wie einen Menschen vor, der ein komplexes Rätsel im Kopf gelöst hat, aber Schwierigkeiten hat, es aufzuschreiben.

• Die Forscher haben geschaut, was in den „Gehirnzellen" (den inneren Schichten der KI) passiert, bevor die KI die Antwort ausspricht.
• Ergebnis: Bei Aufgaben wie der „Bandlücke" (eine Materialeigenschaft) war das Wissen in den inneren Schichten viel besser und genauer als das, was die KI am Ende als Text aussprach.
• Die Analogie: Es ist, als würde ein Genie-Mathematiker die Lösung eines Problems im Kopf haben, aber wenn er versucht, sie auf ein Blatt Papier zu schreiben, macht er Fehler oder vergisst Ziffern. Die KI „weiß" es eigentlich, kann es aber nicht perfekt in Worte (oder Zahlen) fassen.
• Folge: Für manche Aufgaben lohnt es sich, nicht auf die fertige Antwort zu hören, sondern direkt auf die „Gedanken" der KI zu schauen.

3. Der Bibliothekar vergisst sich selbst (Reproduzierbarkeit)

Ein weiteres großes Problem: Viele dieser KIs werden nicht als fertiges Programm verkauft, sondern über eine Cloud-Adresse (API) abgerufen.

• Die Forscher haben über 18 Monate hinweg dieselben Fragen an dieselbe KI gestellt.
• Das Ergebnis: Die Antworten änderten sich! Manchmal war die KI 43 % genauer, manchmal deutlich schlechter.
• Warum? Der Anbieter (z. B. OpenAI) hat im Hintergrund die KI leise aktualisiert, ohne es zu sagen.
• Die Analogie: Es ist, als würden Sie jeden Monat in dasselbe Restaurant gehen und das gleiche Gericht bestellen. Aber manchmal ist es perfekt, manchmal schmeckt es nach verbranntem Toast, weil der Chef im Hintergrund das Rezept geändert hat, ohne es auf der Speisekarte zu vermerken. Für Wissenschaftler, die Ergebnisse über Jahre vergleichen wollen, ist das ein Albtraum.

Was bedeutet das für die Zukunft?

1. Vertrauen ist wichtig: Wenn eine KI eine Zahl nennt (z. B. für ein neues Medikament oder Material), sollten wir nicht blind darauf vertrauen. Wir müssen prüfen, ob sie sich bei wiederholten Fragen immer gleich verhält.
2. Training ist nötig: Für Faktenwissen (Wörter) hilft Training, Unsicherheit zu beseitigen. Für Zahlen ist es schwieriger, da die KI oft „sicher falsch" ist.
3. Besser die Gedanken nutzen: Manchmal ist es klüger, die „Gedanken" der KI (die internen Daten) direkt zu nutzen, statt auf ihre gesprochene Antwort zu warten.
4. Vorsicht bei Cloud-KIs: Für wichtige wissenschaftliche Arbeiten ist es besser, Modelle zu nutzen, die man selbst speichern und kontrollieren kann, statt sich auf ständige Updates von Cloud-Anbietern zu verlassen.

Zusammenfassend: Diese KIs sind brillante Bibliothekare, die viel wissen. Aber sie sind noch keine perfekten Wissenschaftler. Sie können bei Zahlen täuschen, sie sind manchmal inkonsistent, und ihre „Gedanken" enthalten oft mehr Wahrheit als ihre Worte. Wir müssen lernen, sie richtig zu lesen und zu nutzen.

Technische Zusammenfassung

1. Problemstellung

Die Anwendung von Large Language Models (LLMs) in den Materialwissenschaften wächst rasant, doch fundamentale Fragen bezüglich ihrer Zuverlässigkeit, der Art ihrer Wissenscodierung und der Reproduzierbarkeit bleiben unbeantwortet. Traditionelle maschinelle Lernmodelle erfordern eine explizite Merkmalsgenerierung (Featurization), während LLMs natürliche Sprache verarbeiten. Es ist jedoch unklar:

• Wie Informationen in diesen Modellen kodiert sind und ob dies je nach Aufgabe variiert.
• Ob Fine-Tuning echte Verständnisprozesse fördert oder nur statistische Muster lernt.
• Wie sich die Ausgabeform (symbolisch vs. numerisch) auf das Modellverhalten auswirkt.
• Ob API-basierte Modelle über die Zeit stabil genug für wissenschaftliche Anwendungen sind, angesichts von „Halluzinationen" und inkonsistenten Ausgaben.

2. Methodik

Die Autoren führten eine umfassende Evaluation von 25 verschiedenen LLMs (sowohl Open-Weights als auch proprietäre API-Modelle) über vier Materialwissenschaftsaufgaben durch. Insgesamt wurden über 200 Basis- und Fine-Tuning-Konfigurationen getestet.

Die vier Aufgaben:

1. Symbolische Aufgaben:
   • Wissensgraph-Vervollständigung (MatKG): Vorhersage von Triplets (z. B. „BaTiO3 hat Eigenschaft X").
   • Kristallsystem-Klassifizierung: Zuordnung von chemischen Formeln zu einem der sieben Kristallsysteme.
2. Numerische Regression:
   • Bandlücken-Vorhersage: Vorhersage kontinuierlicher Werte (in eV).
   • Dielektrizitätskonstante-Vorhersage: Vorhersage kontinuierlicher Werte.

Analyseverfahren:

• Fine-Tuning: Anwendung von Low-Rank Adaptation (LoRA) und QLoRA auf Basis-Modelle.
• Response Entropy: Berechnung der Entropie über 10 unabhängige Inferenzläufe, um die Konsistenz der Ausgaben zu quantifizieren.
• Layer-wise Probing: Extraktion von Embeddings aus den Zwischenschichten (Transformer-Layern) der fine-getunten Modelle und Training von überwachtem Regressoren (Probes), um zu testen, ob mehr Information in den internen Repräsentationen steckt als im Textoutput.
• Longitudinalstudie: Verfolgung der Performance von GPT-Modellen über einen Zeitraum von 18 Monaten, um zeitliche Drifts zu messen.

3. Wichtige Beiträge und Ergebnisse

A. Ausgabe-Modalität bestimmt das Modellverhalten (Asymmetrie)

Die zentrale Erkenntnis ist, dass die Art der Ausgabe (symbolisch vs. numerisch) das Verhalten fundamental bestimmt:

• Symbolische Aufgaben: Basis-Modelle zeigen hohe Entropie und niedrige Genauigkeit (Inkonsistenz). Fine-Tuning reduziert die Entropie drastisch und verbessert die Genauigkeit signifikant. Das Modell lernt, sich auf konsistente, überprüfbare Antworten zu konvergieren.
• Numerische Aufgaben: Basis-Modelle zeigen oft selbstsichere Halluzinationen („Confident Hallucination"): niedrige Entropie (hohe Konsistenz) bei schlechter Genauigkeit. Fine-Tuning verbessert die Vorhersagegenauigkeit (RMSE), löst aber das Problem der falschen Sicherheit nicht vollständig. Die Entropie verhält sich hier inkonsistent (manchmal steigend, manchmal fallend), da sie eher die Formatierungskonsistenz als die Vorhersagesicherheit widerspiegelt.

B. Der „LLM Head Bottleneck" bei numerischen Aufgaben

Durch das Probing der internen Embeddings wurde ein kritischer Engpass identifiziert:

• Bandlücke: Die internen Repräsentationen (Embeddings) der fine-getunten Modelle enthalten mehr prädiktive Information als der Textoutput des Modells. Ein einfacher Regressor auf den Embeddings erreicht oft bessere Ergebnisse als die autoregressive Textgenerierung. Dies deutet darauf hin, dass das Modell die Information kennt, aber Schwierigkeiten hat, sie präzise in Zahlen zu verbalisieren.
• Dielektrizitätskonstante: Hier ist der Effekt weniger ausgeprägt oder nicht vorhanden; die Embeddings liefern keine signifikant besseren Ergebnisse als der Textoutput. Dies hängt vermutlich mit der Komplexität und der geringeren Datenmenge dieser Eigenschaft zusammen.

C. Wissensrepräsentation und Transferlernen

• Verteilungsbasiertes Lernen: Die Leistung bei der Wissensgraph-Vervollständigung hängt stark von der Häufigkeit des Auftretens einer Entität in verschiedenen Trainingskontexten ab (distributionale Semantik). Das Modell lernt Assoziationen über Kontextnachbarn, nicht durch physikalisches Verständnis.
• Cross-Task Transfer: Fine-Tuning auf numerischen Aufgaben verbessert selten symbolische Aufgaben und umgekehrt. Es gibt jedoch einen bidirektionalen Transfer zwischen den beiden numerischen Aufgaben (Bandlücke ↔ Dielektrizität), was auf gemeinsame Repräsentationen von Zusammensetzung und Eigenschaft hindeutet.
• Skalierung: Nach dem Fine-Tuning ist die Modellgröße (Parameterzahl) weniger entscheidend als bei Basis-Modellen. Kleine Modelle (z. B. 8B) können nach Fine-Tuning mit großen Modellen (70B) mithalten, solange eine Mindestkapazität (ca. 7B Parameter) überschritten wird.

D. Zeitliche Instabilität von API-Modellen

Die 18-monatige Studie an GPT-Modellen zeigte erhebliche Performance-Schwankungen (9–43% Variation im RMSE), selbst bei identischen Prompts.

• Ursachen sind stille Updates der Endpunkte, Quantisierungsänderungen oder Modellversionstausche durch den Anbieter.
• Dies stellt ein massives Problem für die Reproduzierbarkeit wissenschaftlicher Forschung dar, da Ergebnisse zu einem späteren Zeitpunkt nicht mehr replizierbar sind.

4. Signifikanz und Implikationen

• Für die Materialinformatik: Die Studie liefert praktische Leitlinien für den Einsatz von LLMs. Für numerische Vorhersagen könnte die Extraktion von Embeddings in Kombination mit leichten Regressoren effizienter sein als die Textgenerierung („Head Bottleneck").
• Für die Reproduzierbarkeit: Es wird dringend empfohlen, bei der Nutzung von API-Modellen exakte Versionsstrings und Evaluierungsdaten zu dokumentieren. Für kritische Anwendungen (z. B. Hochdurchsatz-Screening) sollten stattdessen Open-Weights-Modelle mit eingefrorenen Checkpoints verwendet werden.
• Für das Verständnis von LLMs: Die Ergebnisse zeigen, dass LLMs in den Materialwissenschaften oft statistische Muster (Kontextassoziationen) statt physikalischer Gesetze lernen. Das Phänomen der „selbstsicheren Halluzination" bei numerischen Daten ist eine kritische Schwäche, die durch einfache Unsicherheitsmaße (wie Entropie) nicht erkannt werden kann.

Zusammenfassend demonstriert das Paper, dass die Zuverlässigkeit von LLMs in den Materialwissenschaften stark von der Aufgabenart abhängt und dass aktuelle Modelle trotz Fine-Tuning fundamentale Grenzen in der verbalen Darstellung numerischer Fakten und in der zeitlichen Stabilität aufweisen.