Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES
Diese Studie zeigt, dass Byte-Pair Encoding (BPE) und Unigram-LM grundlegend unterschiedliche und nahezu disjunkte Subwort-Vokabulare für chemische SMILES erzeugen, was verdeutlicht, dass die Wahl des Tokenisierungsalgorithmus eine kritische Modellierungsentscheidung und kein neutraler Standard ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Frage: Wie bringen wir Computern bei, chemische Formeln zu lesen?
Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, die Sprache der Chemie zu verstehen. Chemiker schreiben Moleküle mithilfe eines Codes namens SMILES (eine Zeichenfolge aus Buchstaben und Symbolen wie CC(=O)Oc1ccccc1).
Bevor ein Computer etwas lernen kann, benötigt er einen Tokenizer. Betrachten Sie einen Tokenizer als einen Übersetzer, der einen langen Satz in kleinere, handhabbare Stücke (Wörter oder Teilwörter) zerlegt, die der Computer verstehen kann.
Seit Jahren kopiert das Feld der Chemie blind eine Methode aus der natürlichen Sprachverarbeitung (so wie Computer Englisch lesen), die BPE (Byte-Pair Encoding) genannt wird. Die Forscher in dieser Arbeit stellten eine einfache Frage: "Ist dies die beste Art, chemische Formeln zu zerlegen, oder gibt es einen besseren Weg?"
Sie verglichen die Standardmethode (BPE) mit einer anderen Methode namens Unigram-LM.
Das Experiment: Zwei verschiedene Scheren
Stellen Sie sich vor, Sie haben eine lange, komplexe Halskette aus verschiedenfarbigen Perlen (die chemische Formel). Sie müssen diese Halskette in kleinere Stücke schneiden, um sie zu untersuchen. Sie haben zwei verschiedene Scherenpaare zur Verfügung:
- Die gierige Schere (BPE): Diese Schere sucht nach den zwei Perlen, die in dem gesamten Haufen von Halsketten am häufigsten nebeneinander vorkommen. Sie klebt diese beiden zu einer einzigen „Super-Perle“ zusammen und wiederholt den Vorgang. Sie sind aggressiv und gierig und versuchen, aus häufigen Mustern große Brocken zu machen.
- Die probabilistische Schere (Unigram-LM): Diese Schere beginnt mit einem riesigen Haufen winziger Perlen und fragt: „Wenn ich diese spezifische Perle entferne, wie sehr schadet das dem Gesamtbild?“ Sie beschneidet sorgfältig die Teile, die nicht essenziell sind, und behält so eine detailliertere, feingranulare Sichtweise bei.
Die überraschende Entdeckung: Sie sind sich uneinig
Die Forscher erwarteten, dass beide Scheren – da chemische Formeln sehr streng sind (Atome müssen auf bestimmte Arten verbunden sein) – die Halskette fast an den gleichen Stellen zerschneiden würden. Sie dachten, die „Regeln der Chemie“ würden die beiden Methoden dazu zwingen, zu konvergieren.
Sie lagen falsch.
Selbst wenn sie exakt dieselben chemischen Daten, dieselben Ausgangsregeln und dieselbe Wortschatzgröße verwendeten, erzeugten die beiden Methoden völlig unterschiedliche Sätze von „Wörtern“.
- Die Überschneidung ist minimal: Wenn man die Liste der von BPE erzeugten „Super-Perlen“ mit der Liste der von Unigram-LM erzeugten vergleichen würde, gäbe es kaum Gemeinsamkeiten. Im schlechtesten Fall teilten sie weniger als 16 % ihrer Teile. Im besten Fall (betrachtet man die wichtigsten, hochfrequenten Teile) teilten sie weniger als 5 %.
- Die „Schnitt“-Tiefe: Die beiden Methoden waren sich darüber einig, wo die Schnitte gemacht werden sollten (das Skelett des Moleküls), aber sie waren sich uneinig darüber, wie tief geschnitten wird.
- BPE neigte dazu, gröbere Schnitte zu machen. Es klebte ganze Ringe von Atomen zu einem einzigen großen Token zusammen.
- Unigram-LM machte feinere Schnitte. Es hielt die Ringe in kleinere, nahezu atomare Teile zerlegt.
- Ergebnis: Unigram-LM benötigte am Ende 29 % bis 41 % mehr Token (Stücke), um dasselbe Molekül zu beschreiben, als BPE.
Eine visuelle Analogie: Die Karte vs. Die Straßenansicht
Stellen Sie sich vor, Sie betrachten eine Karte einer Stadt.
- BPE ist wie eine Karte, die ganze Stadtviertel zu einzelnen Blöcken gruppiert. Sie sagt: „Dieses ganze Gebiet ist ‚Innenstadt‘.“ Das ist effizient und verwendet weniger Wörter.
- Unigram-LM ist wie eine Straßenansicht, die jedes einzelne Gebäude und jede Straßenecke auflistet. Sie sagt: „Hier ist eine Bäckerei, hier ist ein Park, hier ist ein Haus.“ Sie verwendet viele mehr Wörter, bietet aber eine detailliertere Aufschlüsselung.
Die Studie fand heraus, dass diese beiden Karten nicht austauschbar sind. Wenn man von der einen zur anderen wechselt, sieht der Computer eine fundamental andere Struktur der Daten.
Wichtigste Erkenntnisse in einfacher Sprache
- Es ist eine Designentscheidung, kein Standard: Das Fachgebiet hat BPE standardmäßig verwendet, weil es das ist, was Modelle für natürliche Sprache verwenden. Diese Arbeit beweist, dass man diese Entscheidung in der Chemie nicht einfach per Copy-Paste übernehmen kann. Man muss sich aktiv für eine „Schere“ entscheiden, da sie unterschiedliche Ergebnisse liefert.
- Der Unterschied ist stabil: Diese Uneinigkeit geschah nicht nur durch Zufall. Dies geschah über verschiedene Arten von Chemikalien hinweg (gängige Medikamente, seltene Naturstoffe und vielfältige Moleküle) und selbst als die Regeln für den Umgang mit komplexen Atomen geändert wurden.
- Skalierung löst das Problem nicht: Normalerweise gilt: Wenn man einem Computer mehr Daten oder einen größeren Wortschatz gibt, gleichen sich die Dinge vielleicht an. Die Forscher testeten dies, indem sie den Wortschatz achtmal vergrößerten. Die beiden Methoden waren sich immer noch nicht einig. Sie blieben unterscheidbar.
- Der „Verschachtelungseffekt“: Obwohl sie unterschiedliche Wörter verwenden, bekämpfen sie sich nicht. Die Schnitte von Unigram-LM liegen fast immer „innerhalb“ der BPE-Schnitte. Es ist, als würde BPE sagen: „Schneide die ganze Pizza“, und Unigram-LM sagt: „Schneide die Pizza, dann schneide die einzelnen Stücke.“ Sie sind kompatibel, nur auf unterschiedlichen Detailebenen.
Was das für den Leser bedeutet
Die Autoren kommen zu dem Schluss, dass der gewählte Algorithmus eine wesentliche Modellierungsentscheidung ist.
- Wenn Sie sich für BPE entscheiden, erhalten Sie kürzere Sequenzen (weniger Token), was für den Computer kostengünstiger zu verarbeiten ist, aber Sie verlieren etwas von der feingranularen Detailtiefe der Molekülstruktur.
- Wenn Sie sich für Unigram-LM entscheiden, erhalten Sie eine detailliertere, feinkörnigere Ansicht des Moleküls, benötigen aber mehr Rechenleistung, um die vielen Token zu verarbeiten.
Die Autoren haben nicht getestet, welche Methode den Computer besser darin macht, chemische Reaktionen oder Eigenschaften von Medikamenten vorherzusagen. Sie haben lediglich bewiesen, dass die beiden Methoden unterschiedliche Sprachen erschaffen. Daher kann die Chemie-Gemeinschaft nicht länger davon ausgehen, dass sie identisch sind; sie müssen ihre „Scheren“ sorgfältig auswählen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.