8581 Arbeiten
Das Paper stellt LoRA-MME vor, einen Multi-Model-Ensemble-Ansatz, der vier mit LoRA feinabgestimmte Transformer-Encoder kombiniert, um die Klassifizierung von Code-Kommentaren in Java, Python und Pharo zu verbessern, wobei trotz hoher semantischer Genauigkeit (F1-Weighted 0,7906) der hohe Rechenaufwand zu einer niedrigeren Gesamtbewertung im Wettbewerb führte.
Diese Studie zeigt, dass die Einführung von „Semantic Anchoring" die durch artspezifische Ausrichtung verursachte semantische Kollaps in CPath-CLIP-Modellen überwindet und durch sprachgesteuerte Neuausrichtung der visuellen Merkmale die Leistung bei der kreuzspeziesigen und kreuztumorartigen Pathologieerkennung signifikant verbessert.
Das Paper stellt DynaKV vor, ein nachträglich trainierbares Framework zur tokenweisen adaptiven Kompression des KV-Caches, das durch dynamische Zuweisung von Kompressionsraten je nach semantischer Bedeutung eine signifikante Speichereinsparung bei Erhalt der Generierungsqualität ermöglicht.
Die vorgestellte Arbeit führt den FreST-Loss ein, eine frequenzbasierte Trainingsmethode, die mithilfe der gemeinsamen Fourier-Transformation räumliche und zeitliche Abhängigkeiten in Graphdaten gemeinsam im Spektralbereich modelliert und so bestehende Vorhersagemodelle signifikant verbessert.
Die Studie zeigt, dass Vision-Language-Modelle Affordanzen stark kontextabhängig berechnen, wobei sich sowohl die lexikalische als auch die semantische Darstellung drastisch mit dem Kontext verschieben, was auf die Notwendigkeit dynamischer, abfrageabhängiger Ontologien statt statischer Weltmodelle für die Robotik hindeutet.
Diese Studie stellt eine neuartige Methode namens equilibrium-informed neural networks (EINNs) vor, die mithilfe von Deep Neural Networks kritische Schwellenwerte für abrupte Regimewechsel in komplexen dynamischen Systemen effizient identifiziert, indem sie Gleichgewichtszustände als Eingabe nutzt, um die entsprechenden Systemparameter zu inferieren.
Die Arbeit stellt FedEMA-Distill vor, eine serverseitige Methode für robustes und kommunikationseffizientes Federated Learning, die durch die Kombination von Exponential Moving Average und Ensemble-Knowledge-Distillation auf Basis von Client-Logits die Genauigkeit unter nicht-IID-Datenbedingungen und Byzantine-Angriffen verbessert, ohne Änderungen an der Client-Software zu erfordern.
Diese Studie zeigt, dass das Versagen beim Skalieren von verteiltem GPU-Training oft auf übersehene Netzwerkeffekte wie Topologie, Überlastung und GPU-Lokalität zurückzuführen ist, und bietet praktische Diagnoseprinzipien zur Verbesserung der Vorhersagbarkeit und Kosteneffizienz.
Diese Studie nutzt Daten von OpenCelliD, um durch eine umfassende Analyse von Mobilfunknetzen in mehreren Ländern, insbesondere Pakistan, Strategien für die Optimierung der Infrastruktur, die Identifizierung von Unterauslastungen und gezielte Upgrades von veralteten Technologien zu entwickeln.
Die Arbeit stellt Delta-Crosscoder vor, eine robuste Methode zur präzisen Identifizierung und Isolierung latenter Richtungen, die durch schmale Feinabstimmungen in Sprachmodellen entstehen, und übertrifft dabei bestehende SAE-basierte Ansätze.
Die Arbeit zeigt, dass die Reduktion der Schlüssel- und Abfrage-Dimensionen in Transformer-Aufmerksamkeitsmechanismen auf einen Bruchteil der ursprünglichen Größe durch SVD-Kompression und nachfolgendes Feintuning die KV-Cache-Speicherkosten drastisch senkt, ohne dabei die Modellqualität signifikant zu beeinträchtigen.
Diese Arbeit stellt ein System vor, das durch die persistente Speicherung von 4-bit quantisierten KV-Caches auf der Festplatte die wiederholte Neuberechnung bei Multi-Agenten-LLM-Inferenz auf Edge-Geräten eliminiert und so die Time-to-First-Token-Zeit um bis zu 136-fach reduziert, während gleichzeitig die Speicherkapazität vervierfacht wird.
Die Arbeit stellt „Flowers" vor, eine neuartige neuronale Architektur zur Lösung von PDEs, die ausschließlich auf Multihead-Warping basiert, um adaptive globale Interaktionen bei linearen Kosten zu ermöglichen und dabei Fourier-Methoden, Faltungen sowie Dot-Product-Attention zu ersetzen, was zu überlegener Leistung auf 2D- und 3D-PDE-Benchmarks führt.
Das Paper stellt SOLID vor, ein maskenbasiertes Diffusionsmodell, das physikalische Felder ausschließlich aus spärlichen Sensordaten lernt, indem es eine duale Maskierungsstrategie nutzt, um sowohl unbeobachtete Bereiche zu rekonstruieren als auch verlässliche Ankerpunkte zu gewichten, was zu deutlich verbesserten probabilistischen Vorhersagen und kalibrierten Unsicherheitskarten führt.
Diese Studie untersucht die Zuweisung von rekonfigurierbaren intelligenten Oberflächen (RIS) in Multi-Cell-Netzen mittels einer aufsteigenden Auktion, bei der Deep-Reinforcement-Learning-Agenten die Gebotsstrategien optimieren, um eine flexible Steuerung des Trade-offs zwischen Netzwerkleistung und Kosten zu ermöglichen.
Die Arbeit stellt ZorBA vor, ein Framework für das federierte Fine-Tuning von LLMs, das durch den Einsatz von Zeroth-Order-Optimierung und einer heterogenen Blockaktivierung den VRAM-Verbrauch erheblich senkt und gleichzeitig die Konvergenz beschleunigt.
Die vorgestellte Arbeit schlägt ein adaptives Split-Federated-Learning-Framework (ASFL) vor, das durch die Kombination von serverseitigem Training, adaptiver Modellaufteilung und Ressourcenallokation die Konvergenzgeschwindigkeit verbessert und die Gesamtverzögerung sowie den Energieverbrauch im Vergleich zu bestehenden Methoden um bis zu 75 % bzw. 80 % reduziert.
Die Arbeit stellt CogGen vor, ein vollständig unüberwachtes Deep-Generative-Modell, das durch eine kognitionsbelastungsinformierte, stufenweise Anpassung der Trainingsdaten von niedrigen zu hohen Frequenzen die Rekonstruktion komprimiert abgetasteter MRT-Bilder verbessert und dabei Überanpassung sowie Konvergenzprobleme herkömmlicher Methoden überwindet.
Die Studie stellt ein erklärbares, regimebewusstes Portfolio-Management-Framework vor, das auf einem streng kausalen Wasserstein-Hidden-Markov-Modell basiert und durch dynamische Anpassung der Regime-Komplexität sowie stabile Identitätsverfolgung im Vergleich zu Benchmarks und nichtparametrischen Ansätzen deutlich verbesserte risikoadjustierte Renditen und geringere Drawdowns erzielt.
Die Studie stellt AMV-L vor, ein Framework für das lebenszyklusgesteuerte Speichermanagement von LLM-Agenten, das durch wertbasierte Promotion und Entlassung sowie eine auf die Arbeitsmenge beschränkte Suche die Tail-Latenz und den Durchsatz in langlaufenden Systemen im Vergleich zu herkömmlichen TTL- und LRU-Ansätzen signifikant verbessert.