1898 Arbeiten
Diese Studie untersucht die Robustheit von Contrastive Steering bei LLMs gegenüber Datenkorruption und zeigt, dass der Austausch der herkömmlichen Mittelwertberechnung durch einen robusten Schätzer die meisten negativen Auswirkungen böswilliger Manipulationen wirksam verhindert.
Die vorgestellte Arbeit führt die „Density-Guided Response Optimization" (DGRO) ein, eine Methode, die Sprachmodelle durch die Analyse impliziter Akzeptanzsignale und der daraus resultierenden geometrischen Dichtestrukturen im Repräsentationsraum an die Normen spezifischer Online-Communities anpasst, ohne dabei auf explizite Präferenzlabels angewiesen zu sein.
Die Studie zeigt, dass ein von Lernprogressionen abgeleiteter automatischer Rubrik-Ansatz für KI-gestütztes Feedback in der Chemie vergleichbare Qualitätsmerkmale wie von Experten erstellte, aufgabenspezifische Rubriken liefert und somit eine skalierbare Alternative darstellt.
Dieser Beitrag untersucht die durch Large Language Models verursachten Herausforderungen wie Halluzinationen und gezielte Desinformation und skizziert notwendige technologische, regulatorische und bildungspolitische Maßnahmen, um die Verlässlichkeit von Informationen im Zeitalter der generativen KI zu gewährleisten.
Diese Arbeit bewertet das Potenzial von ChatGPT als quantitativer Co-Pilot für Datenwissenschafts-Workflows, indem sie dessen Fähigkeiten in den Bereichen Datenexploration, Visualisierung sowie überwachtes und unüberwachtes Modellieren untersucht und dabei sowohl die Stärken als auch die Grenzen des Tools beleuchtet.
Diese Übersichtsarbeit bietet eine umfassende Analyse des aktuellen Forschungsstands zur Verwendung von Large-Language-Model-Agenten im Finanzhandel, indem sie deren Architekturen, Eingabedaten, Backtesting-Ergebnisse und Herausforderungen zusammenfasst sowie zukünftige Forschungsrichtungen aufzeigt.
Die Arbeit stellt SynthKG und Distill-SynthKG vor, eine Pipeline zur synthetischen Datengenerierung und Modell-Distillation, die durch das Feinabstimmen kleinerer Modelle hochwertige Dokumenten-Wissensgraphen erzeugt und damit sowohl die Qualität als auch die Effizienz von Wissensgraphen-Konstruktion und Retrieval-Aufgaben im Vergleich zu größeren Baseline-Modellen signifikant verbessert.
Diese Arbeit stellt neue Aktivierungsfunktionen auf Basis orthogonaler Polynome, trigonometrischer Funktionen und tropischer Algebra vor, die durch varianzausgleichende Initialisierung das Training tiefer Modelle wie GPT-2 und ConvNeXt ohne Gradientenprobleme ermöglichen und sich zudem durch Hermite-Interpolation nahtlos zur Feinabstimmung an klassische Aktivierungen anpassen lassen.
Das Paper stellt AStar vor, ein trainingsfreies Paradigma für multimodales Reasoning, das durch adaptive, automatische Strukturierung mittels „Thought Cards" die Effizienz und Genauigkeit komplexer visueller Schlussfolgerungen ohne aufwendige Suche oder Nachtraining signifikant verbessert.
Die Autoren stellen einen einfachen, trainingfreien Ansatz vor, der durch gezieltes Rauschen in Modellparametern oder Aktivierungen während des Sampling-Prozesses die Unsicherheit von Large Language Models besser erfasst und damit die Erkennung von Halluzinationen im Vergleich zu herkömmlichen Methoden signifikant verbessert.
Die Studie stellt LLM-ProS vor, eine neue Evaluierungsmethode, die die Leistung führender Large Language Models bei der Lösung von 166 ICPC-Weltmeisterschaftsaufgaben analysiert, um deren Fähigkeiten im algorithmischen Problemlösen sowie den Einfluss von Trainingsmethoden und Denkstrategien zu bewerten.
Die Autoren stellen einen robusten Anpassungsrahmen für große multimodale Modelle vor, der durch Retrieval-Augmentation die Genauigkeit, Generalisierungsfähigkeit und Erklärbarkeit bei der Erkennung von Hass-Memes verbessert und dabei die Leistungsfähigkeit bestehender Methoden übertrifft.
Die Arbeit stellt mit MemeXplain den ersten groß angelegten Datensatz für erklärbare Erkennung von Propaganda und Hassmemes vor und schlägt einen mehrstufigen Optimierungsansatz für Vision-Language-Modelle vor, der sowohl die Klassifizierungsgenauigkeit als auch die Qualität der Erklärungen im Vergleich zum State-of-the-Art signifikant verbessert.
Die Autoren stellen eine neue Reinforcement-Learning-Methode vor, die große Sprachmodelle durch Optimierung einer logarithmischen Belohnungsfunktion direkt darauf trainiert, ihre Antworten mit genau kalibrierten Konfidenzschätzungen zu versehen, wodurch eine zuverlässige und generalisierbare Unsicherheitswahrnehmung erreicht wird.
Diese Studie zeigt durch eine Meta-Analyse von 92 Open-Source-Modellen, dass die Vorhersagekraft für die downstream-Leistung von Sprachmodellen um 3–28 % gesteigert werden kann, wenn neben Größe und Trainingsdaten auch spezifische Designentscheidungen wie die Datenzusammensetzung und Architekturmerkmale berücksichtigt werden.
Diese Übersichtsarbeit beleuchtet, wie Large Language Models die Bioinformatik revolutionieren, indem sie die Analyse genomischer Sequenzen, RNA-Strukturen, Proteinfunktionen und Einzelzell-Daten ermöglichen, gleichzeitig zentrale Herausforderungen wie Datenknappheit und Rechenkomplexität diskutieren und zukünftige Richtungen für die Präzisionsmedizin aufzeigen.
Das Paper stellt LLaVE vor, ein skalierbares multimodales Embedding-Modell, das durch einen Hardness-Weighted Contrastive Learning-Ansatz die Unterscheidung schwieriger Negativpaare verbessert und damit auf dem MMEB-Benchmark neue State-of-the-Art-Ergebnisse erzielt, die sogar größere Modelle übertreffen.
Das Paper stellt Vision-R1 vor, ein multimodales Sprachmodell, das durch die Kombination eines selbstgenerierten Cold-Start-Datensatzes und einer fortschrittlichen Reinforcement-Learning-Strategie (PTST mit GRPO) überlegene multimodale Schlussfolgerungsfähigkeiten erreicht und auf dem MathVista-Benchmark mit OpenAI O1 konkurrieren kann.
Die Arbeit stellt ein theoretisches Modell vor, das zeigt, wie Next-Token-Prediction in LLMs latente, menschlich interpretierbare Konzepte als diskrete Zufallsvariablen erfasst, und validiert diese Identifizierbarkeitsergebnisse sowohl theoretisch als auch empirisch an verschiedenen Modellfamilien.
Die Studie stellt MoBLLM vor, ein kosteneffizientes, auf Open-Source-LLMs basierendes Fundamentmodell für die Vorhersage individueller Mobilität, das durch Parameter-Effizientes Fine-Tuning überlegene Genauigkeit, Robustheit und Transferierbarkeit auf verschiedenen Datensätzen im Vergleich zu bestehenden Deep-Learning-Modellen und kommerziellen LLMs erreicht.