7279 Arbeiten
Die Studie nutzt Crosscoders, um zu zeigen, dass Mixture-of-Experts-Modelle im Vergleich zu dichten Modellen weniger einzigartige Merkmale lernen und spezialisierte, fokussierte Repräsentationen entwickeln, während dichte Modelle breitere, allgemeineren Merkmale verwenden.
Die Studie zeigt, dass Mixture-of-Experts-Modelle wie DeepSeekMoE eine stark konzentrierte Expertise aufweisen, bei der nur wenige spezialisierte Experten den Großteil der Vorhersagen übernehmen, was gezielte Pruning-Strategien zur Optimierung von Inferenz und Speicherbedarf bei gleichbleibender Leistung ermöglicht.
Die Arbeit stellt MaCS vor, ein architekturunabhängiges Regularisierungsframework, das durch die Kombination von Margin- und Konsistenzstrafen die Kalibrierung und Robustheit von Vision-Modellen verbessert, ohne zusätzliche Daten oder Architekturänderungen zu erfordern.
Die Arbeit stellt SEA-PEFT vor, eine Methode zur automatisierten, parameter-effizienten Feinabstimmung von 3D-Medizinbild-Segmentierungsmodellen, die durch einen Such-Audit-Zuweisungs-Loop die Adapter-Konfiguration optimiert und so in Few-Shot-Szenarien signifikant bessere Ergebnisse als statische Ansätze erzielt.
Diese Studie untersucht die Wirksamkeit und Grenzen des Many-Shot-Promptings als Testzeit-Anpassungsmethode für Large Language Models und zeigt, dass sie zwar bei strukturierten Aufgaben mit hohem Informationsgewinn effektiv ist, jedoch bei offenen Generierungsaufgaben stark von der Auswahlstrategie abhängt und oft nur begrenzte Vorteile bietet.
Die Arbeit stellt ReflexiCoder vor, ein Reinforcement-Learning-Framework, das Large Language Models befähigt, Code autonom durch internalisierte Selbstreflexion und Selbstkorrektur zu verbessern, wodurch sie bei algorithmischen Aufgaben neue State-of-the-Art-Ergebnisse erzielen und dabei deutlich token-effizienter sind als herkömmliche Ansätze.
Die Arbeit stellt STEP (STochastic Event Predictor) vor, ein Framework zur stochastischen Vorhersage von Ereignissen in zeitlichen Netzwerken, das durch die Modellierung von Motif-Übergängen mittels Poisson-Prozessen und Bayes'scher Bewertung bestehende Methoden in Bezug auf Genauigkeit und Effizienz deutlich verbessert.
Die Arbeit stellt ROSE vor, eine optimierte Version von SparseGPT, die durch eine adaptive, verlustbasierte Neuordnung der Gewichte die Genauigkeit beim One-Shot-Pruning von Large Language Models signifikant verbessert.
Die Arbeit stellt PixARMesh vor, eine Methode, die aus einem einzelnen RGB-Bild autoregressiv vollständige, kohärente und direkt anwendbare 3D-Innenszenen-Meshes in einem einzigen Vorwärtsschritt rekonstruiert, indem sie Objektplatzierung und Geometrie in einem einheitlichen Modell kombiniert.
Die vorgestellte Arbeit verbessert die Fairness und Interpretierbarkeit von Concept Bottleneck Models durch den Einsatz von drei neuen Techniken zur Reduzierung von Informationslecks, dem Entfernen voreingenommener Konzepte und adversariellem Debiasing, wodurch signifikant bessere Ergebnisse im Kompromiss zwischen Fairness und Leistung erzielt werden.
Die Arbeit stellt RePO vor, einen Optimierungsansatz, der durch die Kombination von verstärkendem Lernen zur Förderung der Exploration und einer referenzgesteuerten Überwachung zur Stabilisierung des Trainings die Leistung von Large Language Models bei der molekularen Optimierung ohne schrittweise Trajektoriendaten signifikant verbessert.
Diese Studie stellt ein integriertes Framework vor, das eine Node-Transformer-Architektur mit BERT-basierter Sentiment-Analyse kombiniert, um durch die Modellierung von Graphstrukturen und Marktstimmungen die Vorhersagegenauigkeit von Aktienkursen signifikant zu verbessern.
Die vorgestellte Arbeit schlägt das „Artificial Replay"-Verfahren vor, ein neues Experimentdesign, das durch Wiederverwendung aufgezeichneter Belohnungen die Anzahl notwendiger Nutzerinteraktionen zur Vergleichung von Multi-armed-Bandit-Algorithmen nahezu halbiert und dabei einen unverzerrten Schätzer mit sublinear wachsender Varianz liefert.
Die Arbeit stellt Weak-SIGReg vor, eine effiziente Kovarianz-Regularisierungsmethode, die auf dem Prinzip der Sketched Isotropic Gaussian Regularization basiert und das Training von tiefen neuronalen Netzen wie Vision Transformern stabilisiert, indem sie den Zusammenbruch der Repräsentationen durch eine Annäherung an eine isotrope Gauß-Verteilung verhindert.
Diese Arbeit zeigt, dass die Berücksichtigung des menschlichen Kontexts (Autoren) durch die HuLM- und HuFT-Methoden die Leistung eines größeren 8B Llama-Modells verbessert und damit die Bedeutung der Modellierung von Sprache im Kontext ihrer ursprünglichen Ersteller unterstreicht.
Die Autoren stellen einen FPGA-beschleuniger vor, der durch die persistente Speicherung des GDN-Zustands auf dem Chip die speichergebundenen Engpässe bei der Dekodierung linearer Aufmerksamkeit überwindet und damit im Vergleich zu einer NVIDIA H100-GPU eine 4,5-fache Geschwindigkeitssteigerung sowie eine bis zu 60-fach höhere Energieeffizienz pro Token erreicht.
Die Arbeit stellt ein strukturiertes Stil-Umschreibungs-Framework vor, das durch explizite Entzerrung lexikalischer, syntaktischer und pragmatischer Merkmale sowie implizites Stil-Conditioning mittels CoT-Distillation es kleinen Sprachmodellen ermöglicht, auch bei geringen Datenmengen konsistente und dateneffiziente Charakterrollen zu generieren, die größere Baseline-Modelle übertreffen.
Diese Studie entwickelt interpretierbare Modelle, die psychologische Theorien über die Interaktion von Person und Situation mit Sprachdaten kombinieren, um das dynamische Wohlbefinden in sozialen Medien präziser und nachvollziehbarer zu erfassen als rein embedding-basierte Ansätze.
Die Arbeit stellt Omni-Masked Gradient Descent (OMGD) vor, eine speichereffiziente Optimierungsmethode für das Training großer Sprachmodelle, die durch eine nichtkonvexe Konvergenzanalyse eine verbesserte Iterationskomplexität von garantiert und sich nahtlos in bestehende Optimierer integrieren lässt.
Die Arbeit stellt TADPO vor, ein neuartiges Reinforcement-Learning-System, das eine verbesserte Policy-Gradient-Methode nutzt, um hochgeschwindigkeitsfähige Offroad-Fahrzeuge erstmals erfolgreich in der Simulation und im realen Einsatz ohne Anpassungen zu steuern.