11329 Arbeiten
Die Arbeit stellt Draft-Conditioned Constrained Decoding (DCCD) vor, ein trainingfreies Zwei-Schritt-Verfahren, das durch die Entkopplung von semantischer Planung und struktureller Erzwingung die Genauigkeit strukturierter Ausgaben bei großen Sprachmodellen signifikant verbessert und dabei auch kleinere Modelle effizienter macht.
Die Arbeit stellt ein neues Paradigma namens „entropic-time inference" vor, das die LLM-Inferenz durch eine selbstorganisierende Architektur steuert, welche Scheduling, Aufmerksamkeitsverdünnung und Temperatursteuerung über ein einheitliches Entropie-Ziel vereint, um die Berechnung dort zu priorisieren, wo die Unsicherheitsreduktion maximal ist.
Die Autoren stellen CoIPO, eine kontrastive Lernmethode zur Inverse Direct Preference Optimization, vor, die die inhärente Robustheit von Large Language Models gegenüber Prompt-Rauschen erhöht und dabei externe Vorverarbeitung vermeidet.
Die Arbeit stellt M-QUEST vor, ein semantisches Framework und Benchmark mit 609 Frage-Antwort-Paaren, das die automatische Extraktion von Wissen aus Memes zur Bewertung von Toxizität und Semantik ermöglicht und die Leistung von Large Language Models in diesem multimodalen Kontext evaluiert.
Das Paper stellt IntPro vor, einen Proxy-Agenten, der durch retrieval-basierte Inferenz und gezieltes Training den Kontext sowie individuelle Intentionsmuster nutzt, um das Intentionsverständnis von Large Language Models in Mensch-KI-Interaktionen zu verbessern.
Diese Studie untersucht die Robustheit von 13 Large Language Models gegenüber fünf Arten von Störungen im Chain-of-Thought-Reasoning und zeigt, dass die Anfälligkeit je nach Störungstyp und Modellgröße variiert, wobei insbesondere Umrechnungsaufgaben auch bei großen Modellen eine signifikante Leistungsminderung verursachen.
Diese Arbeit stellt einen Rahmen für prompt-abhängige Rankings von Large Language Models mit statistisch validen Unsicherheitsgarantien vor, der durch die Konstruktion von Konfidenzmengen auf Basis eines kontextuellen Bradley-Terry-Luce-Modells vermeintliche Rangunterschiede als statistisch nicht signifikant entlarvt und so fundierte, robuste Entscheidungsgrundlagen bietet.
Das Paper stellt NEURONA vor, ein neuro-symbolisches Framework zur Dekodierung von fMRI-Aktivitäten, das durch die Integration struktureller Prioritäten wie kompositioneller Prädikat-Argument-Abhängigkeiten sowohl die Genauigkeit bei präzisen Abfragen als auch die Generalisierungsfähigkeit auf ungesehene Fragen verbessert.
Die Studie stellt GreenPhase vor, ein effizientes und interpretierbares Deep-Learning-Modell auf Basis des Green-Learning-Rahmens, das ohne Backpropagation auskommt und durch eine mehrstufige Auflösungsarchitektur bei der Erdbebenphasenbestimmung sowohl hohe Genauigkeit als auch eine um 83 % reduzierte Rechenkomplexität im Vergleich zu aktuellen State-of-the-Art-Modellen erreicht.
Die Studie stellt SMMA vor, ein auf Deep Learning basierendes, vollautomatisiertes Framework zur präzisen Messung der Geniohyoid-Muskeldicke während der Sprache, das manuelle Annotationen überflüssig macht und neue Einblicke in die Sprachmotorik sowie potenzielle Anwendungen bei der Diagnose von Sprech- und Schluckstörungen ermöglicht.
Dieser Artikel korrigiert Fehler in der ursprünglichen UMAP-Theorie von McInnes et al., die auf Spivaks unveröffentlichtem Entwurf basieren, und liefert eine vollständige, selbstständige Herleitung der zugrunde liegenden Funktoren sowie eine kritische Diskussion des UMAP-Algorithmus.
Dieser Artikel stellt eine neue Clustering-Methode für qualitative Daten vor, die durch ein gemeinsames Lernverfahren einen „Learning Order Forest" aus Baumstrukturen erzeugt, um komplexe Ordnungsbeziehungen zwischen Attributwerten zu erfassen und so präzisere Clusterergebnisse als herkömmliche Ansätze zu erzielen.
Die Arbeit stellt GLOT vor, einen effizienten, graphbasierten Pooling-Mechanismus, der die relationalen Strukturen von Token in eingefrorenen LLMs nutzt, um robustere Satzrepräsentationen mit deutlich weniger trainierbaren Parametern und schnellerer Trainingszeit als herkömmliche Methoden zu erzeugen.
Diese Arbeit stellt eine neuartige, adaptive Parameterauswahlstrategie für kernelbasierte Gradientenabstiegsverfahren vor, die durch die Integration von Bias-Varianz-Analyse und empirischer effektiver Dimension optimale Generalisierungsgrenzen erreicht und sich effektiv an verschiedene Kernel, Zielfunktionen und Fehlermetriken anpasst.
Die Studie zeigt, dass die Einführung neuronenspezifischer, heterogener Zeitkonstanten im Gleichgewichtspropagations-Algorithmus die Trainingsstabilität verbessert und gleichzeitig die biologische Plausibilität sowie die Robustheit des Modells erhöht, ohne die Leistung bei Aufgaben zu beeinträchtigen.
Dieses Paper stellt die Surprisal-Rényi-Free-Energy (SRFE) als ein neuartiges, log-momentenbasiertes Funktional vor, das die Vorwärts- und Rückwärts-KL-Divergenzen als Grenzfälle umfasst und durch eine explizite Mittelwert-Varianz-Tradeoff-Struktur sowie eine präzise Minimum-Description-Length-Interpretation die geometrischen und großen-Abweichungs-Eigenschaften dieser Lernrahmenwerke aufklärt.
Diese kurze Notiz stellt eine einfache Variante des Squint-Algorithmus von Koolen und Van Erven vor und beweist mittels einer angepassten Herleitung, dass diese Variante eine Regret-Schranke garantiert, die der kürzlich von Freund et al. für eine NormalHedge-Variante gezeigten entspricht.
Die Autoren stellen ein skalierbares Modell zur kausalen Entdeckung vor, das unter der Annahme unbekannter weicher Interventionen durch kontrastives Lernen über Beobachtungs- und Interventionsregimes hinweg eine global konsistente kausale Struktur rekonstruiert und dabei theoretisch fundierte Verbesserungen gegenüber nicht-kontrastiven Methoden sowie eine bessere Generalisierungsfähigkeit bietet.
Diese Replikationsstudie zeigt, dass der FairDICE-Algorithmus zwar theoretisch vielversprechend ist, jedoch aufgrund eines Programmfehlers und unzureichend spezifizierter Hyperparameter in der ursprünglichen Implementierung auf einfaches Behavior Cloning reduziert wurde, was nach Korrektur zwar eine Skalierbarkeit in komplexen Umgebungen bestätigt, aber eine erhebliche Überarbeitung der experimentellen Begründung erfordert.
Die Studie zeigt, dass ein großer Teil der Nichtlinearität in Transformer-MLPs durch kontextabhängiges Routing oder gezieltes Einfrieren linearer Schichten eliminiert werden kann, was bei minimalen oder sogar negativen Kosten zu einer deutlichen Verbesserung der Perplexität führt.