23 Arbeiten
Die Studie stellt zwei rein softwarebasierte Techniken, Overflow-Aware Scaling (OAS) und Macro Block Scaling (MBS), vor, die die Genauigkeit des MXFP4-Formats für Large Language Models signifikant verbessern und die Leistungslücke zu NVFP4 von durchschnittlich 10 % auf unter 1 % verringern, ohne Hardwareänderungen vorzunehmen.
Das Paper stellt ARKV vor, einen adaptiven und ressourceneffizienten Rahmen zur Verwaltung des KV-Caches bei Large Language Models, der durch dynamische Zuweisung von Präzisionsniveaus basierend auf Aufmerksamkeitsdynamiken und Token-Wichtigkeit die Speichernutzung um den Faktor vier reduziert, während die Genauigkeit bei langen Kontexten nahezu erhalten bleibt.
Die Arbeit stellt ChatNeuroSim vor, ein Framework auf Basis von Large Language Models, das den gesamten Workflow für die Bereitstellung und Optimierung von Compute-in-Memory-Beschleunigern automatisiert und durch Design-Space-Pruning die Identifizierung optimaler Konfigurationen für DNN-Workloads erheblich beschleunigt.
Die Arbeit stellt bsort vor, einen theoretisch effizienten, nicht-vergleichsbasierten Sortieralgorithmus für Ganzzahlen und Gleitkommazahlen, der durch eine von Binärschnellsortieren abgeleitete Methode eine Laufzeit von und einen zusätzlichen Speicherbedarf von erreicht.
Die Arbeit führt die -Ungleichung ein, um zu zeigen, dass Mixture-of-Experts-Modelle aufgrund einer doppelten Ineffizienz bei der Inferenz – nämlich fragmentierter Gewichtswiederverwendung und begrenztem HBM-Speicher für den KV-Cache – bei langen Kontexten strukturell gegenüber dichteren Modellen benachteiligt sind, was ihre Trainings-FLOP-Effizienz nicht auf die Laufzeitleistung überträgt.
Diese Arbeit demonstriert erstmals die direkte Programmierung von FP64-Tensor-Cores auf NVIDIA-GPUs zur Beschleunigung hochauflösender Finite-Elemente-Simulationen in der MFEM-Bibliothek, wodurch auf Exascale-Systemen bis zu eine Verdopplung der Leistung und signifikante Energieeffizienzgewinne erzielt werden.
Diese Arbeit stellt einen dynamischen Präzisions-Rechenmotor für ESP32-Mikrocontroller vor, der durch die Kombination von Q16.16-Festkomma-Arithmetik, einem CORDIC-Trigonometriemodul und einem cache-optimierten Matrixmultiplikationskern die Rechengeschwindigkeit für lineare Algebra und Trigonometrie im Vergleich zur Standard-Bibliothek um das 18- bis 25-fache steigert, während eine Laufzeit-Precision-Schaltung den nahtlosen Wechsel zwischen fester und Gleitkommapräzision ermöglicht.
Diese Arbeit demonstriert, dass sich Mamba-2 durch compilerbasierte XLA-Optimierungen ohne handgeschriebene CUDA-Kernels effizient auf CPU, NVIDIA-GPUs und TPUs portieren lässt, wodurch eine theoretische -Zustandsverwaltung und hardwareunabhängige Inferenz mit hoher Leistung erreicht werden.
Die Arbeit stellt SparseLoom vor, ein Demonstratorsystem für Edge-SoCs, das durch eine neuartige „Model Stitching"-Methode zur rekombinierenden Erstellung von Modellvarianten ohne Nachtraining die SLO-Verletzungsraten um bis zu 74 % senkt, den Durchsatz um das 2,31-Fache steigert und den Speicherbedarf im Vergleich zu bestehenden Multi-DNN-Inferenzsystemen um durchschnittlich 28 % reduziert.
Die vorgestellte Arbeit stellt eine vollständig GPU-residente, sperrenfreie Multi-GPU-Architektur vor, die durch den vollständigen Umzug des Sieb-Generierungsprozesses auf die GPU und die Einführung eines asynchronen Work-Stealing-Pools die Goldbach-Vermutung bis zu $10^{13}$ mit einer Geschwindigkeit von 133,5 Sekunden auf einem Vier-GPU-System verifiziert und dabei eine algorithmische Beschleunigung von 45,6-fach gegenüber vorherigen Ansätzen erreicht.
Das Paper stellt DyLLM vor, ein trainingsfreies Inferenz-Framework für Masked Diffusion Language Models, das durch die selektive Berechnung nur salienter Token basierend auf der Ähnlichkeit ihrer Aufmerksamkeitskontexte die Durchsatzrate um bis zu 9,6-fach steigert, ohne dabei die Genauigkeit nennenswert zu beeinträchtigen.
Das Paper stellt RedFuser vor, ein automatisches Framework, das mithilfe einer formalen theoretischen Methode kaskadierte Reduktionsoperationen in AI-Beschleunigern effizient fusioniert und damit im Vergleich zu aktuellen Compilern Geschwindigkeitssteigerungen von bis zu 5-fach erzielt.
Das Paper stellt RAGPerf vor, ein Open-Source-Framework zur umfassenden End-to-End-Leistungsbewertung von Retrieval-Augmented-Generation-Systemen, das durch modulare Komponenten, flexible Konfiguration und automatisierte Metrikenerfassung detaillierte Analysen ermöglicht, ohne nennenswerten Overhead zu verursachen.
Die Arbeit stellt „Linear Layouts" vor, einen neuartigen Ansatz zur effizienten Generierung von Tensor-Berechnungen, der Tensor-Layouts mithilfe linearer Algebra über modelliert, um eine generische Definition und Konvertierung zu ermöglichen, den Engineering-Aufwand zu reduzieren und die Leistung von Triton-Operatoren zu optimieren.
Diese Studie widerlegt die verbreitete Annahme, dass hohe Netzwerkbandbreite allein für performante Datenübertragung ausreicht, und zeigt durch die Einführung des „Drainage Basin Pattern"-Modells sowie umfangreiche Produktionstests, dass Engpässe häufig außerhalb des Netzwerks liegen und eine ganzheitliche Hardware-Software-Ko-Design-Strategie für zuverlässige Datenbewegung in großem Maßstab erforderlich ist.
Diese Arbeit untersucht Parallelisierungsstrategien für die Bereitstellung dichter LLMs, indem sie zeigt, dass Tensor-Parallelismus die Latenz verbessert, während Pipeline-Parallelismus den Durchsatz optimiert, und wie deren hybride Kombination einen gezielten Kompromiss zwischen diesen beiden Leistungszielen ermöglicht.
Diese Arbeit stellt einen neuen Black-Box-Online-Controller vor, der durch End-to-End-Messungen und Hill-Climbing den Goodput von LLMs maximiert, und nutzt dieses Beispiel, um die Notwendigkeit zu unterstreichen, Leistungs- und Nachhaltigkeitsmetriken in AI-Factsheets zu integrieren.
Diese Arbeit stellt den Entwurf, die Analyse und die Leistung eines deterministischen, nebenläufigen Skiplists auf vielen NUMA-Kernen vor, bewertet weitere nebenläufige Datenstrukturen im Vergleich zu Intels TBB-Bibliothek und schlägt Strategien für das Speichermanagement sowie eine hierarchische Nutzung dieser Strukturen vor, um Speicherlatenzen durch die Reduzierung von Zugriffen auf entfernte NUMA-Knoten zu verringern.
Diese Arbeit bietet eine systematische Analyse und ein konzeptionelles Rahmenwerk für dynamische Routing- und Kaskadierungssysteme, die durch die adaptive Auswahl verschiedener unabhängiger Large Language Models je nach Anfragekomplexität die Inferenzeffizienz optimieren und dabei die Leistungsfähigkeit einzelner Modelle übertreffen können.
Die Studie zeigt, dass das experimentelle Deaktivieren des Global Interpreter Locks (GIL) in Python 3.14.2 bei parallelisierbaren Workloads die Ausführungszeit und den Energieverbrauch signifikant senken kann, jedoch bei sequenziellen Aufgaben oder häufigen Objektzugriffen zu höherem Energieverbrauch und erhöhtem Speicherverbrauch führt, was eine sorgfältige Evaluierung der spezifischen Arbeitslast vor einer Einführung erfordert.