1071 Arbeiten
Die Studie zeigt, dass ein stochastisches Modell der phonologischen Evolution, das funktionale Last und eine Tendenz zu einer bevorzugten Inventargröße berücksichtigt, die beobachteten statistischen Regularitäten von Phonemfrequenzen und die Beziehung zwischen Inventargröße und relativer Entropie als natürliche Folge historischer Sprachveränderungen erklären kann.
Die Studie zeigt, dass Sprachmodelle durch das Training auf semantisch treuen Umschreibungen subliminal Präferenzen von einem Lehrermodell übernehmen können, selbst wenn der Inhalt diese Präferenzen explizit widerspricht, was die Wirksamkeit rein inhaltsbasierter Sicherheitsfilter in Frage stellt.
Diese Studie stellt eine Methode vor, bei der Large Language Models genutzt werden, um Fakenews-Entlarvungen basierend auf den Big-Five-Persönlichkeitseigenschaften zu personalisieren und deren Wirksamkeit durch automatische Evaluierung zu bestätigen, wobei sich zeigt, dass solche maßgeschneiderten Botschaften überzeugender sind, gleichzeitig aber ethische Bedenken aufwerfen.
Die Arbeit stellt ALARM vor, ein 4-Milliarden-Parameter-Audio-Sprachmodell, das durch einen neuartigen Selbst-Umschreibungsansatz, die Fusion mehrerer Audio-Encoder und ein umfangreiches Multi-Task-Trainingskorpus die Herausforderungen der Audio-Sprach-Ausrichtung bei Reasoning-Modellen löst und dabei neue State-of-the-Art-Ergebnisse auf Audio-Reasoning-Benchmarks erzielt.
Diese Studie liefert Politikwissenschaftlern einen Entscheidungsrahmen, der zeigt, dass das Fine-Tuning allgemeiner Modelle wie ModernBERT für häufige Ereigniskategorien oft ausreicht und spezialisierte Modelle nur bei seltenen Ereignissen oder hohen Genauigkeitsanforderungen notwendig sind.
Die Studie identifiziert eine systematische Kollaps-Pathologie in ALiBi-basierten BLOOM-Modellen, bei der ein Großteil der Aufmerksamkeitsköpfe nur auf den Anfangstoken reagiert, und stellt eine chirurgische Reinitialisierung vor, die durch gezieltes Zurücksetzen spezifischer Parameter die Funktionsfähigkeit der Köpfe auf einem einzelnen Consumer-GPU wiederherstellt und zeigt, dass vortrainierte Konfigurationen suboptimale lokale Minima darstellen können.
Die Arbeit stellt X-GS vor, ein erweiterbares Open-Source-Framework, das 3D-Gaussian-Splatting-Methoden mit multimodalen Modellen vereint, um durch eine effiziente Pipeline in Echtzeit semantisch angereicherte SLAM-Systeme für Aufgaben wie Objekterkennung und Bildbeschreibung zu ermöglichen.
Diese Studie stellt eine vollständig open-source, lokal einsetzbare Pipeline vor, die auf dem \texttt{qwen2.5-72b}-Modell basiert und mit einer hohen Genauigkeit longitudinale Tumorinformationen aus unstrukturierten radiologischen Berichten extrahiert, wodurch Datenschutz und Reproduzierbarkeit in der klinischen Onkologie gewährleistet werden.
Diese Keynote-Präsentation für ECIR 2025 untersucht das Zusammenspiel zwischen parametrischem und kontextuellem Wissen in Sprachmodellen, wobei der Fokus auf der Diagnose von Wissenskonflikten und der Bewertung liegt, wie Modelle kontextuelle Informationen nutzen oder ignorieren.
Diese Studie stellt einen automatisierten Klassifikationsrahmen zur kardiovaskulären Risikobewertung bei geriatrischen Patienten vor, der unstrukturierte elektronische Patientenakten nutzt und zeigt, dass eine maßgeschneiderte Transformer-Architektur traditionelle Methoden sowie generative Large Language Models übertrifft.
Diese Forschung entwickelt und validiert durch Expertenbewertung eine Methode zur Schätzung der Ähnlichkeit von Rezepten, die semantische, lexikalische und domänenspezifische Aspekte wie Zutaten und Nährwerte kombiniert, um Anwendungen in der Lebensmittelindustrie und personalisierten Ernährung zu unterstützen.
Das Paper stellt ESAinsTOD vor, ein einheitliches End-to-End-Framework für aufgabenorientierte Dialoge, das durch instruktions- und schemabewusste Ausrichtungsmechanismen sowie Vollparameter-Feinabstimmung von LLMs eine überlegene Generalisierung, Robustheit und Leistung auf verschiedenen Benchmarks und in Low-Resource-Szenarien erreicht.
Die Arbeit stellt ActiveUltraFeedback vor, eine modulare Active-Learning-Pipeline, die durch die gezielte Auswahl unsicherer oder qualitativ stark unterschiedlicher Antwortpaare hochwertige Präferenzdaten mit nur einem Sechstel des Annotationsaufwands im Vergleich zu statischen Baselines generiert und so die Leistung von Large Language Models signifikant verbessert.
Die Arbeit stellt Mousse vor, einen neuen Optimierer, der durch die Kombination von Muons spektraler Stabilität mit Shampoons kroneckerfaktorisierter Vorbedingung die geometrische Anpassungsfähigkeit in stark konditionierten Landschaften verbessert und so das Training von Sprachmodellen um etwa 12 % beschleunigt.
Die Studie zeigt, dass Large Language Models in RAG-Systemen zwar effektiv natürliche Sprachabfragen in strukturierte Metadatenfilter für den Zugriff auf Ernährungsdaten übersetzen können, jedoch bei komplexen Fragen mit nicht explizit darstellbaren Einschränkungen an ihre Grenzen stoßen.
Die Arbeit stellt MUGEN vor, ein umfassendes Benchmark-System zur Evaluierung von Large Audio-Language-Modellen im Mehr-Audio-Verständnis, das signifikante Leistungseinbußen bei steigender Eingabeanzahl aufdeckt und durch trainingsfreie Strategien wie Audio-Permutational Self-Consistency in Kombination mit Chain-of-Thought die Genauigkeit nachweislich verbessert.
Die Arbeit stellt RbtAct vor, ein neues Framework, das Rebuttals als implizite Supervision nutzt, um mit einem auf Llama-3.1-8B-Instruct basierenden Modell generierte Peer-Review-Feedbacks zu verbessern, die durch eine neue Aufgabe und den RMR-75K-Datensatz spezifischer und handlungsorientierter sind.
Die Arbeit stellt EXPLORE-Bench vor, einen neuen Benchmark auf Basis realer Egocentric-Videos, der zeigt, dass multimodale Sprachmodelle bei der Vorhersage langfristiger physischer Konsequenzen aus Ego-Perspektive erhebliche Schwierigkeiten haben, während eine schrittweise Zerlegung der Aktionen die Leistung zwar verbessert, aber mit hohem Rechenaufwand einhergeht.
Die Arbeit stellt FoodOntoRAG vor, ein feintuning-freies, ontologie-agnostisches Pipeline-System, das durch Retrieval-Augmented Generation (RAG) und multi-agentische Entscheidungsfindung eine robuste und interpretierbare Verknüpfung von Lebensmittelentitäten auch bei Ontologie-Drift ermöglicht.
Dieser Artikel stellt eine aktualisierte und kombinierte Version des EPIC-EuroParl-UdS-Korporas vor, das um linguistische Annotationen und informationstheoretische Metriken erweitert wurde, um Forschungen zur Sprachvariation, Übersetzungsanalyse und insbesondere zur Vorhersage von Füllwörtern im Dolmetschen mittels probabilistischer Modelle zu unterstützen.