2980 Arbeiten
Der Safe Transformer ist ein modularer Ansatz, der durch die Einführung eines expliziten, interpretierbaren und steuerbaren Sicherheitsbits zwischen den Transformer-Schichten eine transparente und kontrollierbare Ausrichtung von Sprachmodellen ermöglicht, ohne dass ein vollständiges Neutrainieren erforderlich ist.
Die Arbeit stellt einen verstärkungslernbasierten Ansatz vor, der durch dichteinvariantes Eingabe-Encoding, zufallsbasiertes Dichte-Training und physikbasierte Belohnungsgestaltung eine sichere Navigation in dichten Menschenmengen ermöglicht und dabei sowohl das Einfrieren analytischer Methoden als auch das Abstürzen herkömmlicher Lernverfahren bei veränderter Dichte überwindet.
Die Arbeit stellt Calibrated Credit Intelligence (CCI) vor, ein Framework, das Bayesianische neuronale Netze, fairheitsbeschränkte Gradient Boosting-Modelle und eine schiftbewusste Fusionsstrategie kombiniert, um unter sich ändernden Datenverteilungen zuverlässige, gut kalibrierte und faire Kreditrisikobewertungen zu gewährleisten.
Die Arbeit beschreibt ein Experiment zur dezentralen, kollaborativen Autoformalisierung algebraischer Topologie, bei dem mehrere LLM-basierte Agenten in einem bountysbasierten Marktmechanismus dynamisch Lemmas vorschlagen, Beweise führen und diese durch ein interaktives Theorembeweissystem verifizieren lassen.
Die vorgeschlagene Methode „Rank-Factorized Implicit Neural Bias" (RIB) ermöglicht die effiziente Nutzung von FlashAttention in Super-Resolution-Transformern, indem sie relative Positionsbias durch niedrig-rangige neuronale Repräsentationen ersetzt, was zu einer signifikanten Steigerung der Bildqualität bei gleichzeitiger drastischer Verkürzung von Trainings- und Inferenzzeiten führt.
Das Paper stellt ResearchEnvBench vor, einen Benchmark, der die Fähigkeit autonomer Agenten bewertet, komplexe Ausführungsumgebungen für Forschungscode zu synthetisieren, und dabei erhebliche Defizite aktueller State-of-the-Art-Modelle bei der Abhängigkeitsauflösung und Versionskonfiguration aufzeigt.
Die Studie stellt ViroGym vor, ein umfassendes Benchmark-System, das auf einer großen Sammlung von experimentellen Daten zu viralen Proteinen basiert, um Protein-Sprachmodelle für die Vorhersage von Varianteneffekten zu evaluieren und die rationale Auswahl von Antigenen für Impfstoffe zu unterstützen.
Die Arbeit stellt ein effizientes Framework für heterogene dezentrale Diffusionsmodelle vor, das durch die Kombination unterschiedlicher Trainingsziele (DDPM und Flow Matching), eine innovative Umrechnung zur Inferenz und eine optimierte Architektur den Rechenaufwand im Vergleich zu vorherigen Ansätzen um das 16-fache senkt und gleichzeitig die Bildqualität sowie die Vielfalt verbessert.
Die vorgestellte Arbeit schlägt einen Rahmen vor, der vortrainierte generative Modelle feinabstimmt, um realistische Proben direkt innerhalb komplexer, physikalisch oder sicherheitskritisch eingeschränkter Bereiche zu erzeugen und dabei einen neuen Kompromiss zwischen Constraint-Einhaltung und Probenqualität erreicht.
Die Arbeit stellt StableDRL vor, eine für Diffusion-Sprachmodelle optimierte Reformulierung von GRPO, die durch unbedingtes Clipping und Selbstnormalisierung die Instabilität und den Reward-Kollaps bei der Nachtrainierung verhindert.
Die Arbeit stellt DIRECTER vor, eine neue Methode zur Aktivierungssteuerung, die durch dynamische, plausibilitätsgeleitete Anpassung der Steuerungsstärke und eine KV-Cache-Skalierung die Instruktionsbefolgung von Large Language Models verbessert, ohne dabei die Textqualität oder Aufgabenfidelität zu beeinträchtigen.
ButterflyViT überwindet die lineare Speicherskalierung von Mixture-of-Experts-Vision-Transformern für Edge-Geräte, indem es Experten als geometrische Reorientierungen eines gemeinsamen quantisierten Substrats darstellt und so bei 64 Experten eine 354-fache Speicherreduktion bei vernachlässigbarem Genauigkeitsverlust erreicht.
Die Arbeit stellt ProtAlign vor, ein Multi-Objective-Preference-Alignment-Framework, das vortrainierte Protein-Inverse-Folding-Modelle wie ProteinMPNN durch semi-online Direct Preference Optimization so verfeinert, dass sie gleichzeitig strukturelle Integrität und diverse Entwickelbarkeitseigenschaften wie Löslichkeit und Thermostabilität optimieren.
Diese Studie bietet einen umfassenden Überblick über robotische Fundamentmodelle für die industrielle Steuerung, entwickelt einen Bewertungsrahmen mit 149 Kriterien und kommt zu dem Schluss, dass die industrielle Reife derzeit begrenzt ist, da selbst die besten Modelle nur einen Bruchteil der Anforderungen erfüllen und systemische Integration von Sicherheit sowie Echtzeitfähigkeit priorisiert werden muss.
Die Studie stellt XMACNet vor, einen leichten, erklärbaren und multimodal fusionierenden CNN-Ansatz, der auf EffizientNetV2S basiert und RGB-Bilder mit Vegetationsindizes kombiniert, um Chili-Krankheiten mit hoher Genauigkeit zu klassifizieren und für den Einsatz an der Edge zu optimieren.
Die Arbeit stellt ICD3 vor, einen interpretierbaren Ansatz zur Erkennung von Konzeptdrift in unausgewogenen Datenströmen, der durch eine granulare Suche und einzelne Cluster-Klassifikatoren den „Maskierungseffekt" großer Cluster vermeidet und Drifts in kleinen Konzepten präzise lokalisiert.
Diese Studie stellt ein mehrstufiges Erklärbarkeitsframework vor, das die Robustheit und Konsistenz von SHAP-Erklärungen für Diagnose- und Prognosemodelle der Alzheimer-Krankheit auf dem NACC-Datensatz quantitativ validiert und zeigt, dass kognitive und funktionelle Marker als stabile, übertragbare Erklärungen dienen.
Die vorgestellte Arbeit entwickelt ein gradientenbasiertes, verschachteltes Co-Design-Framework, das die aerodynamische Form und die Bewegungsplanung von flugfähigen Robotern mittels eines neuronalen Surrogatmodells gemeinsam optimiert, um die Leistung bei komplexen Aufgaben wie dem Perchen und der Landung deutlich zu verbessern.
Diese Arbeit stellt eine diversitätsbewusste, adaptive Auswahl von Kollokationspunkten für Physics-Informed Neural Networks vor, die das Problem als Sparse-QUBO-Optimierung auf einem kNN-Graphen formuliert, um redundante Punkte zu vermeiden und die Genauigkeit bei reduzierten Trainingskosten zu verbessern.
Diese Studie demonstriert, dass symbolisches maschinelles Lernen im Vergleich zu herkömmlichen Black-Box-Modellen wie Random Forest und Multilayer Perceptron nicht nur eine höhere Vorhersagegenauigkeit bei der Fehlererkennung im Prozess der Ethylenoxidation erzielt, sondern auch durch die Generierung interpretierbarer, regelbasierter Modelle entscheidende Vorteile für die Sicherheit und Entscheidungsunterstützung in der chemischen Industrie bietet.