Heterogeneous Parallelism for Multimodal Large Language Model Training
Dieser Beitrag stellt ein Framework für heterogene Parallelisierung zum Training multimodaler großer Sprachmodelle vor, das unabhängige Tensor-Parallelismus-Layouts für verschiedene Module innerhalb eines einzigen Graphen ermöglicht, modality-spezifische Skalierungsinkonsistenzen auflöst und durch optimierte co-lokale Ausführung eine bis zu 49,3 % höhere TFLOPS/GPU-Leistung erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen superintelligenten Roboter zu trainieren, der sehen, hören und lesen kann. Um dies zu tun, müssen Sie zwei sehr unterschiedliche Arten von „Gehirnen" kombinieren:
- Der Encoder: Dieser Teil ist wie eine spezialisierte Kamera oder ein Mikrofon. Er ist hervorragend darin, Bilder oder Töne zu verarbeiten, funktioniert aber am besten mit einem spezifischen, festgelegten Datenblock fester Größe.
- Das LLM (Large Language Model): Dies ist das riesige Sprachgehirn. Es ist enorm groß, muss riesige Textmengen gleichzeitig lesen und erfordert eine völlig andere Art der Arbeitsorganisation, um effizient zu sein.
Das Problem: Der „Einheitsanzug"
In der Vergangenheit zwangen Ingenieure bei der Schulung dieser kombinierten Roboter beide Gehirne, exakt denselben „Anzug" zu tragen (eine spezifische Art, die Arbeit auf viele Computer aufzuteilen).
Stellen Sie sich das wie eine Baufirma vor, in der die Klempner und die Elektriker gezwungen sind, in exakt derselben Formation zu arbeiten.
- Die Elektriker (das LLM) müssen in einem riesigen Kreis stehen, um Kabel schnell weiterzureichen (eine Technik namens Tensor-Parallelismus).
- Die Klempner (der Encoder) müssen nur in kleinen Paaren arbeiten, da ihre Rohre kurz und fest sind.
Wenn Sie die Klempner zwingen, in dem riesigen Kreis der Elektriker zu stehen, verbringen sie ihre ganze Zeit damit, auf die Elektriker zu warten, bis sie die Kabel weitergereicht haben. Sie führen keine Klempnerarbeiten aus; sie stehen nur herum. Dies verlangsamt das gesamte Projekt.
Die Lösung: „Heterogener Parallelismus"
Diese Arbeit stellt eine neue Art vor, die Baufirma zu organisieren, die als Heterogener Parallelismus bezeichnet wird. Anstatt alle in einen einzigen Anzug zu zwingen, erlaubt sie jedem Team, den Anzug zu tragen, der am besten zu ihnen passt, selbst wenn sie im selben Gebäude arbeiten.
Das System ermöglicht es dem „Encoder"-Team und dem „LLM"-Team:
- Ihre Arbeit unterschiedlich aufzuteilen: Das LLM kann einen riesigen Kreis von Computern nutzen, während der Encoder ein enges Paar nutzt.
- Ihren eigenen Sitzplatz zu wählen: Sie können auf denselben Computern sitzen (die Hardware teilen) oder auf völlig verschiedenen Computern, je nachdem, was Platz und Zeit am meisten spart.
Der Zaubertrick: Der „Übersetzer"
Der schwierigste Teil, zwei Teams unterschiedlich arbeiten zu lassen, ist der Informationsaustausch zwischen ihnen. Wenn der Encoder seine Arbeit im Format „kleines Paar" abschließt, das LLM sie jedoch im Format „riesiger Kreis" erwartet, wird die Datenübertragung verzerrt.
Die Autoren bauten einen speziellen Übersetzer (genannt Boundary Communicator).
- Forward Pass (Die Zustellung): Wenn der Encoder fertig ist, formt der Übersetzer die Daten sofort in das Format um, das das LLM benötigt. Es ist wie ein Kurier, der ein kleines Paket nimmt, es in eine große Kiste umpackt und es dem LLM-Team übergibt.
- Backward Pass (Die Rückkehr): Wenn das LLM aus seinen Fehlern lernt, sendet es Feedback zurück. Der Übersetzer nimmt dieses Feedback, zerlegt es wieder in das kleine Format, das der Encoder versteht, und gibt es zurück.
Dies stellt sicher, dass die Teams, auch wenn sie auf unterschiedliche Weise arbeiten, den Überblick über die Daten oder den Lernprozess niemals verlieren.
Zwei Sitzweisen: „Kolociert" vs. „Nicht-Kolociert"
Die Arbeit testet zwei Möglichkeiten, diese Teams anzuordnen:
Kolociert (Teilen desselben Schreibtisches):
- Das Szenario: Der Encoder und das LLM passen auf denselben Satz von Computern.
- Der Vorteil: Anstatt den Encoder in den ineffizienten Kreis des LLM zu zwingen, lässt das System den Encoder in seinen eigenen effizienten Paaren auf denselben Computern sitzen.
- Das Ergebnis: Dies ist wie ein Koch und ein Sous-Chef in derselben Küche. Der Koch schneidet Gemüse (Encoder), während der Sous-Chef die Suppe rührt (LLM). Sie kommen sich nicht in die Quere, und die Küche läuft bis zu 49 % schneller, weil niemand herumsteht.
Nicht-Kolociert (Trennräume):
- Das Szenario: Der Encoder ist so riesig (oder das LLM so speichergierig), dass sie nicht denselben Satz von Computern teilen können, ohne den Platz zu erschöpfen.
- Der Vorteil: Das System verlegt den Encoder vollständig in einen separaten Raum (einen separaten Satz von Computern). Dies gibt dem Raum des LLM die Freiheit, perfekt für seine eigenen Bedürfnisse eingerichtet zu werden, ohne dass der Encoder den Platz verstopft.
- Das Ergebnis: Dies ist wie das Verlegen schwerer Maschinen in ein separates Lagerhaus, damit das Hauptbüro für maximale Effizienz organisiert werden kann. Dies verbesserte die Gesamtgeschwindigkeit der Wortverarbeitung um bis zu 13 %.
Der Beweis
Die Autoren haben nicht nur geraten, dass dies funktionieren würde; sie haben es getestet.
- Sie bewiesen, dass der „Übersetzer" die Mathematik nicht durcheinanderbringt. Der Roboter lernt mit exakt derselben Geschwindigkeit und Genauigkeit wie zuvor, nur schneller.
- Sie zeigten, dass für kleine Encoder das Teilen der Computer (Kolociert) am besten ist.
- Sie zeigten, dass für riesige Encoder das Verlegen in einen separaten Raum (Nicht-Kolociert) am besten ist.
Zusammenfassung
Diese Arbeit handelt davon, den „Einheitsanzug"-Ansatz beim Training von KI zu beenden. Indem man es verschiedenen Teilen des KI-Systems erlaubt, die effizienteste Arbeitsweise für ihren spezifischen Job zu nutzen, und indem man einen intelligenten Übersetzer baut, um Daten zwischen ihnen weiterzugeben, trainiert das System viel schneller und verbraucht weniger Rechenleistung. Es ist wie das endgültige Erlauben, dass Klempner und Elektriker in ihren eigenen natürlichen Formationen arbeiten, anstatt sie zu zwingen, im Gleichschritt zu marschieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.