Scale-Dependent Input Representation and Confidence Estimation for LLMs in Materials Property Prediction

Diese Studie zeigt, dass optimale Eingabedarstellungen für die Vorhersage von Materialeigenschaften vom Maßstab der LLM abhängen, wobei kompakte Formate für kleinere Modelle geeignet sind und detaillierte Beschreibungen größere Modelle begünstigen, während gleichzeitig die mittlere negative Log-Likelihood als effektive, trainingsfreie Konfidenzmetrik für feinabgestimmte Modelle etabliert wird.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, die Eigenschaften eines neuen Materials zu erraten, wie etwa die Energie, die zu seiner Herstellung benötigt wird, oder wie gut es Strom leitet. Diese Arbeit ist wie ein Leitfaden für zwei unterschiedlich große „Gehirne" (KI-Modelle), wie sie die Ihnen gegebenen Anweisungen am besten verstehen können.

Hier ist die Geschichte dessen, was die Forscher herausfanden, aufgeschlüsselt in einfache Konzepte:

1. Die zwei Gehirne: Ein Kleinkind vs. ein Professor

Die Forscher testeten zwei Versionen einer KI namens „Llama":

• Das 1B-Modell (Das Kleinkind): Ein kleineres, einfacheres Gehirn.
• Das 8B-Modell (Der Professor): Ein größeres, komplexeres Gehirn mit mehr Wissen.

Sie wollten herausfinden, ob die Größe des Gehirns beeinflusst, wie es unterrichtet werden sollte. Sie gaben diesen Modellen fünf verschiedene Möglichkeiten, ein Material (wie einen Kristall) zu beschreiben:

1. Das Rezept: Nur die Liste der Zutaten (Chemische Zusammensetzung).
2. Die Schlagzeile: Eine kurze Zusammenfassung, die die Zutaten und die „Form" oder Symmetrie des Materials enthält (Kristallzusammenfassung).
3. Die lokale Tour: Eine Beschreibung, wie sich die Atome in ihrer unmittelbaren Umgebung umarmen (Lokale Umgebung).
4. Der vollständige Roman: Eine lange, detaillierte Geschichte, die die gesamte Struktur beschreibt (Vollständige Beschreibung).
5. Die Baupläne: Eine rohe, technische Datei voller Zahlen und Koordinaten (CIF).

2. Die Lektion „Kurz vs. Lang"

Die größte Entdeckung war, dass eine Größe nicht für alle passt.

• Für das Kleinkind (1B-Modell): Es geriet bei langen Geschichten in Verwirrung. Wenn Sie ihm den „vollständigen Roman" oder die komplexen „Baupläne" gaben, strauchelte es. Es funktionierte am besten, wenn Sie ihm das Rezept oder die Schlagzeile gaben. Es brauchte kurze, prägnante Fakten, um die Aufgabe richtig zu erledigen.
• Für den Professor (8B-Modell): Dieses Gehirn liebte die Details. Wenn Sie ihm den vollständigen Roman gaben, schnitt es tatsächlich besser ab als mit den kurzen Zusammenfassungen. Es konnte die langen, komplexen Beschreibungen lesen und die subtilen Hinweise herausfiltern, die es brauchte, um eine gute Vorhersage zu treffen. Allerdings hatte selbst der Professor mit den rohen „Bauplänen" (den technischen Dateien) noch etwas Mühe, was darauf hindeutet, dass natürliche Sprache (Wörter) für diese KI-Gehirne immer noch leichter zu verstehen ist als roher Code.

Die goldene Regel: Wenn Sie eine kleine KI haben, halten Sie Ihre Anweisungen kurz. Wenn Sie eine große KI haben, können Sie ihr eine detaillierte Geschichte geben.

3. Die Magie der „Symmetrie"

Eine bestimmte Zutat in den Anweisungen entpuppte sich als Superkraft für beide, das Kleinkind und den Professor: Symmetrie.

Stellen Sie sich vor, Sie haben zwei verschiedene Formen, die aus denselben Lego-Steinen gebaut sind. Wenn Sie der KI nur sagen „Es besteht aus roten und blauen Steinen", kann die KI die Formen nicht unterscheiden. Aber wenn Sie die „Schlagzeile" hinzufügen, die besagt: „Es ist eine quadratische Form", weiß die KI plötzlich den Unterschied. Die Arbeit ergab, dass die Einbeziehung von Informationen über die Symmetrie des Materials (seine Form/Gruppe) beiden Modellen half, die Eigenschaften viel genauer zu erraten als nur die Auflistung der Zutaten.

4. Das „Vertrauensmessgerät" (Wie man weiß, ob die KI rät)

Die zweite große Frage war: Wie wissen wir, ob die KI sich ihrer Antwort sicher ist oder ob sie sie sich nur ausdenkt?

In der Welt der KI gibt es eine Zahl namens NLL (Negative Log-Likelihood). Stellen Sie sich dies als das interne „Vertrauensmessgerät" der KI vor.

• Niedriges NLL: Die KI ist sich ihrer Antwort sehr sicher.
• Hohes NLL: Die KI ist unsicher oder rät.

Der Haken:

• Vor dem Training: Als die KI nur ein „Basis"-Modell war (noch nicht über Materialien unterrichtet), war dieses Vertrauensmessgerät defekt. Sie würde sagen „Ich bin mir super sicher!", selbst wenn sie völlig falsch lag.
• Nach dem Training: Sobald sie die Modelle mit einer speziellen Methode namens LoRA „feinabgestimmt" (unterrichtet) hatten, funktionierte das Messgerät! Sie fanden ein klares Muster: Wenn das Vertrauensmessgerät der KI hoch war (niedriges NLL), waren ihre Antworten in der Regel korrekt.

Das bedeutet, dass Sie nach dem Training auf die interne Vertrauensbewertung der KI schauen können, um zu entscheiden, ob Sie ihrer Vorhersage vertrauen sollten. Wenn die Bewertung niedrig ist (hohe Unsicherheit), können Sie diese Antwort ignorieren und sich vor einer schlechten Schätzung bewahren.

5. Der Kompromiss: Geschwindigkeit vs. Genauigkeit

Die Arbeit wies auch einen praktischen Nachteil hin. Während diese KI-Modelle intelligent und flexibel sind, sind sie langsam.

• Ein traditionelles, spezialisiertes Computerprogramm (wie ein Graph-Neuronales Netzwerk) könnte etwa 10.000 Materialien in ungefähr einer Minute überprüfen.
• Diese KI-Modelle benötigten mehrere Stunden, um denselben Job zu erledigen.

Zusammenfassung

Diese Arbeit lehrt uns, dass bei der Verwendung von KI zur Vorhersage von Materialeigenschaften Folgendes gilt:

1. Passen Sie die Eingabe an das Modell an: Geben Sie einer kleinen KI keine lange Geschichte; geben Sie ihr eine Zusammenfassung. Geben Sie einer großen KI die vollständige Geschichte.
2. Beziehen Sie die Symmetrie ein: Wenn Sie der KI die Form des Materials mitteilen, hilft das ihr, besser zu raten.
3. Zuerst trainieren, dann vertrauen: Sie müssen die KI über Materialien unterrichten, bevor Sie ihrem „Vertrauensmessgerät" vertrauen können. Sobald sie trainiert ist, ist dieses Messgerät ein hervorragendes Werkzeug, um schlechte Schätzungen herauszufiltern.

Die Forscher behaupteten nicht, dass dies bereit ist, alle aktuellen Werkzeuge sofort zu ersetzen (aufgrund der langsamen Geschwindigkeit), aber sie zeigten, dass diese flexiblen KI-Modelle mit dem richtigen Setup sehr effektive und selbstbewusste Werkzeuge für Wissenschaftler sein können.

Technische Zusammenfassung

Technische Zusammenfassung: Skalabhängige Eingabedarstellung und Vertrauensschätzung für LLMs bei der Vorhersage von Materialeigenschaften

Problemstellung

Während Large Language Models (LLMs) zunehmend in den Materialwissenschaften für Aufgaben wie die Vorhersage von Eigenschaften eingesetzt werden, bleiben zwei kritische Herausforderungen ungelöst:

1. Eingabedarstellung vs. Modellgröße: Es ist unklar, wie die optimale Eingabedarstellung (z. B. chemische Zusammensetzung, natürliche Sprachbeschreibungen oder strukturierte Dateien) von der Größe des LLM und seinem Feinabstimmungsstatus abhängt. Vorherige Studien nutzen diverse Formate und Modellgrößen, was einen systematischen Vergleich erschwert.
2. Vertrauensschätzung: Es fehlen zuverlässige Methoden zur Bewertung der Zuverlässigkeit von von LLMs generierten Eigenschaftsvorhersagen. Bestehende Methoden zur Unsicherheitsquantifizierung (UQ) für Graph-Neuronale Netze erfordern oft zusätzlichen Modellierungsaufwand. Zwar liefern LLMs natürlicherweise tokenweise Wahrscheinlichkeiten (Negativer Log-Likelihood, NLL), ihre Anwendbarkeit als Vertrauensmetrik für die Vorhersage numerischer Eigenschaften bleibt jedoch unbestätigt.

Methodik

Die Studie führt systematische Experimente mit dem LLM4Mat-Bench-Datensatz (abgeleitet vom Materials Project) durch, wobei der Fokus auf zwei Zielgrößen liegt: Bildungsenthalpie pro Atom und Bandlücke.

• Modelle: Zwei Llama-Modelle unterschiedlicher Größen wurden verwendet: Llama-3.2-1B-Instruct und Llama-3.1-8B-Instruct. Beide wurden in ihrem Basiszustand (nur vortrainiert) und nach der Feinabstimmung evaluiert.
• Feinabstimmung: Die Modelle wurden mittels Low-Rank Adaptation (LoRA) feinabgestimmt, angewendet auf Query- und Value-Projektionsschichten (Rank $r=32$, Skalierungsfaktor $\alpha=64$). Das Training erfolgte über 6 Epochen mit einer Lernrate von $1 \times 10^{-4}$.
• Eingabedarstellungen: Für jede Stichprobe wurden fünf verschiedene Eingabemodalitäten konstruiert:
  1. Zusammensetzung: Nur chemische Formel.
  2. Kristall-Zusammenfassung: Der einleitende Satz einer Beschreibung in natürlicher Sprache (enthält Zusammensetzung und Raumgruppe).
  3. Lokale Umgebung: Der verbleibende beschreibende Text ohne den Zusammenfassungssatz.
  4. Vollständige Beschreibung: Der vollständige Text in natürlicher Sprache.
  5. CIF: Rohdaten von Kristallographischen Informationsdatei-Strings.
• Evaluierungsmetriken:
  • Genauigkeit: Mittlere Absolute Abweichung (MAE) und Wurzel der Mittleren Quadratischen Abweichung (RMSE) zwischen vorhergesagten und wahren Werten.
  • Vertrauen: Der mittlere Negative Log-Likelihood (Mean NLL) der Tokens, die den vorhergesagten numerischen Werten entsprechen. Konkret konzentriert sich die Studie auf den ganzzahligen Teil der numerischen Zeichenkette, um Rauschen durch die Tokenisierung von Dezimalstellen zu vermeiden.
  • Filterung: Eine „NLL-Filterung"-Strategie wurde getestet, bei der Vorhersagen mit einem Mean NLL über einem bestimmten Schwellenwert verworfen werden, um die Zuverlässigkeit der verbleibenden Menge zu verbessern.

Wichtige Ergebnisse

1. Skalabhängige Eingabedarstellung

Die optimale Eingabedarstellung hängt stark von der Modellgröße ab:

• 1B-Modell (kleine Skala): Performt am besten mit kompakten Darstellungen (Zusammensetzung und Kristall-Zusammenfassung). Mit zunehmender Eingabelänge und -komplexität (z. B. Vollständige Beschreibung, Lokale Umgebung) steigt der Mittlere Absolute Fehler (MAE) an, und die Trainingsinstabilität (Varianz über verschiedene Seeds) nimmt zu. Das 1B-Modell hat Schwierigkeiten, lange Textformate oder strukturierte CIF-Daten auf präzise physikalische Eigenschaften abzubilden.
• 8B-Modell (große Skala): Zeigt Robustheit gegenüber detaillierten Eingaben. Für die Bildungsenthalpie erreicht das 8B-Modell seinen niedrigsten MAE mit der Vollständigen Beschreibung und nutzt dabei sein vortrainiertes Verständnis natürlicher Sprache, um nuancierte strukturelle Merkmale zu extrahieren.
• Symmetrieinformationen: Über beide Modellgrößen hinweg schneidet die Kristall-Zusammenfassung (die Raumgruppeninformationen enthält) konsistent besser ab als Eingaben, die nur die Zusammensetzung enthalten. Dies deutet darauf hin, dass Symmetriebeschreiber robuste Merkmale darstellen, die helfen, Polymorphe zu unterscheiden und kristallographisches Wissen im LLM zu aktivieren.
• CIF-Performance: Während das 8B-Modell CIF-Daten interpretieren kann, liefern Beschreibungen in natürlicher Sprache im Allgemeinen eine bessere Genauigkeit, was darauf hindeutet, dass die internen Repräsentationen von LLMs mehr mit natürlicher Sprache als mit Rohkoordinatendaten übereinstimmen.

2. Vertrauensschätzung via Mean NLL

• Basis-Modelle: Es besteht keine klare Korrelation zwischen Mean NLL und Vorhersagefehler. Große Fehler treten auch bei niedrigen NLL-Werten auf, was darauf hindeutet, dass vortrainierte Wahrscheinlichkeiten eher Verzerrungen als Zusammenhänge von Materialeigenschaften widerspiegeln.
• Feinabgestimmte Modelle: Es zeigt sich ein konsistenter Trend, bei dem ein niedrigerer Mean NLL mit kleineren Vorhersagefehlern korrespondiert. Diese Korrelation gilt über verschiedene Modellgrößen und Eingabedarstellungen hinweg.
• NLL-Filterung: Durch Anwendung eines Schwellenwerts auf den Mean NLL (Verwerfen von Vorhersagen mit hohem NLL) sinkt der MAE der verbleibenden Vorhersagen signifikant unter das Basisniveau. Dies zeigt, dass Mean NLL als praktischer, trainingsfreier Vertrauensindikator für feinabgestimmte Modelle dient.
• Token-Umfang: Die Studie ergab, dass die Beschränkung der NLL-Berechnung auf den ganzzahligen Teil des numerischen Werts zuverlässiger ist als die Einbeziehung von Dezimalstellen, da Letztere aufgrund von Tokenisierungsambiguitäten Rauschen einführen.

Wichtige Beiträge

1. Systematische Analyse von Skala und Darstellung: Die Studie belegt, dass das Eingabedesign an die Modellkapazität angepasst werden muss. Kompakte Eingaben sind für kleinere Modelle (1B) optimal, während größere Modelle (8B) von detaillierten Beschreibungen in natürlicher Sprache profitieren.
2. Validierung von Symmetriemerkmals: Es wird gezeigt, dass die Einbeziehung von Raumgruppeninformationen in Eingabezusammenfassungen ein kritischer Faktor zur Verbesserung der Vorhersagegenauigkeit über alle Modellgrößen hinweg ist.
3. Vertrauensindikator für LLMs: Die Arbeit liefert Belege dafür, dass der Mean NLL numerischer Tokens als effektive Vertrauensmetrik für die Vorhersage von Materialeigenschaften dienen kann, jedoch nur nach einer aufgaben spezifischen Feinabstimmung. Dies bietet eine rechnerisch effiziente Alternative zu komplexen UQ-Methoden.

Bedeutung und Einschränkungen

Die Autoren behaupten, dass diese Erkenntnisse praktische Leitlinien für die Gestaltung von Eingabedarstellungen und die Bewertung der Vorhersagezuverlässigkeit in LLM-basierter Materialinformatik liefern. Die Möglichkeit, Vorhersagen basierend auf internen Vertrauenswerten (Mean NLL) zu filtern, ermöglicht einen zuverlässigeren Einsatz ohne zusätzlichen Trainingsaufwand.

Von den Autoren anerkannte Einschränkungen:

• Modellumfang: Die Analyse beschränkt sich auf 1B- und 8B-Modelle; eine Verallgemeinerung auf größere Skalen (z. B. 70B) erfordert weitere Untersuchungen.
• Eigenschaftsumfang: Die Ergebnisse sind spezifisch für Bildungsenthalpie und Bandlücke; andere Eigenschaften können sich unterschiedlich verhalten.
• Rechenkosten: Die Inferenz von LLMs ist erheblich langsamer (Stunden im Vergleich zu Sekunden für GNNs wie CGCNN) und erfordert erheblichen GPU-Speicher, was die unmittelbare Skalierbarkeit für Hochdurchsatz-Screening im Vergleich zu spezialisierten Modellen einschränkt.
• Architekturspezifität: Die Erkenntnisse sind spezifisch für die Llama-3-Serie; eine Validierung an anderen Architekturen ist erforderlich.
• Explorativer Charakter: Die Vertrauensschwellenwertbildung basiert auf Beobachtungen im Testset; der praktische Einsatz erfordert die Auswahl des Schwellenwerts an einem zurückgehaltenen Validierungsset.

Die Studie kommt zu dem Schluss, dass LLMs zwar in der rohen Genauigkeit für spezifische Aufgaben spezialisierte Graph-Neuronale Netze (GNNs) noch nicht übertreffen mögen, ihre Flexibilität im Eingabedesign und ihr Potenzial für Multi-Aufgaben-Anwendungen ohne aufgabenspezifische Architekturen jedoch erhebliche praktische Vorteile darstellen.