1061 Arbeiten
Diese Studie liefert Politikwissenschaftlern einen Entscheidungsrahmen, der zeigt, dass das Fine-Tuning allgemeiner Modelle wie ModernBERT für häufige Ereigniskategorien oft ausreicht und spezialisierte Modelle nur bei seltenen Ereignissen oder hohen Genauigkeitsanforderungen notwendig sind.
Die Studie identifiziert eine systematische Kollaps-Pathologie in ALiBi-basierten BLOOM-Modellen, bei der ein Großteil der Aufmerksamkeitsköpfe nur auf den Anfangstoken reagiert, und stellt eine chirurgische Reinitialisierung vor, die durch gezieltes Zurücksetzen spezifischer Parameter die Funktionsfähigkeit der Köpfe auf einem einzelnen Consumer-GPU wiederherstellt und zeigt, dass vortrainierte Konfigurationen suboptimale lokale Minima darstellen können.
Die Arbeit stellt X-GS vor, ein erweiterbares Open-Source-Framework, das 3D-Gaussian-Splatting-Methoden mit multimodalen Modellen vereint, um durch eine effiziente Pipeline in Echtzeit semantisch angereicherte SLAM-Systeme für Aufgaben wie Objekterkennung und Bildbeschreibung zu ermöglichen.
Diese Studie stellt eine vollständig open-source, lokal einsetzbare Pipeline vor, die auf dem \texttt{qwen2.5-72b}-Modell basiert und mit einer hohen Genauigkeit longitudinale Tumorinformationen aus unstrukturierten radiologischen Berichten extrahiert, wodurch Datenschutz und Reproduzierbarkeit in der klinischen Onkologie gewährleistet werden.
Diese Keynote-Präsentation für ECIR 2025 untersucht das Zusammenspiel zwischen parametrischem und kontextuellem Wissen in Sprachmodellen, wobei der Fokus auf der Diagnose von Wissenskonflikten und der Bewertung liegt, wie Modelle kontextuelle Informationen nutzen oder ignorieren.
Diese Studie stellt einen automatisierten Klassifikationsrahmen zur kardiovaskulären Risikobewertung bei geriatrischen Patienten vor, der unstrukturierte elektronische Patientenakten nutzt und zeigt, dass eine maßgeschneiderte Transformer-Architektur traditionelle Methoden sowie generative Large Language Models übertrifft.
Diese Forschung entwickelt und validiert durch Expertenbewertung eine Methode zur Schätzung der Ähnlichkeit von Rezepten, die semantische, lexikalische und domänenspezifische Aspekte wie Zutaten und Nährwerte kombiniert, um Anwendungen in der Lebensmittelindustrie und personalisierten Ernährung zu unterstützen.
Das Paper stellt ESAinsTOD vor, ein einheitliches End-to-End-Framework für aufgabenorientierte Dialoge, das durch instruktions- und schemabewusste Ausrichtungsmechanismen sowie Vollparameter-Feinabstimmung von LLMs eine überlegene Generalisierung, Robustheit und Leistung auf verschiedenen Benchmarks und in Low-Resource-Szenarien erreicht.
Die Arbeit stellt ActiveUltraFeedback vor, eine modulare Active-Learning-Pipeline, die durch die gezielte Auswahl unsicherer oder qualitativ stark unterschiedlicher Antwortpaare hochwertige Präferenzdaten mit nur einem Sechstel des Annotationsaufwands im Vergleich zu statischen Baselines generiert und so die Leistung von Large Language Models signifikant verbessert.
Die Arbeit stellt Mousse vor, einen neuen Optimierer, der durch die Kombination von Muons spektraler Stabilität mit Shampoons kroneckerfaktorisierter Vorbedingung die geometrische Anpassungsfähigkeit in stark konditionierten Landschaften verbessert und so das Training von Sprachmodellen um etwa 12 % beschleunigt.
Die Studie zeigt, dass Large Language Models in RAG-Systemen zwar effektiv natürliche Sprachabfragen in strukturierte Metadatenfilter für den Zugriff auf Ernährungsdaten übersetzen können, jedoch bei komplexen Fragen mit nicht explizit darstellbaren Einschränkungen an ihre Grenzen stoßen.
Die Arbeit stellt MUGEN vor, ein umfassendes Benchmark-System zur Evaluierung von Large Audio-Language-Modellen im Mehr-Audio-Verständnis, das signifikante Leistungseinbußen bei steigender Eingabeanzahl aufdeckt und durch trainingsfreie Strategien wie Audio-Permutational Self-Consistency in Kombination mit Chain-of-Thought die Genauigkeit nachweislich verbessert.
Die Arbeit stellt RbtAct vor, ein neues Framework, das Rebuttals als implizite Supervision nutzt, um mit einem auf Llama-3.1-8B-Instruct basierenden Modell generierte Peer-Review-Feedbacks zu verbessern, die durch eine neue Aufgabe und den RMR-75K-Datensatz spezifischer und handlungsorientierter sind.
Die Arbeit stellt EXPLORE-Bench vor, einen neuen Benchmark auf Basis realer Egocentric-Videos, der zeigt, dass multimodale Sprachmodelle bei der Vorhersage langfristiger physischer Konsequenzen aus Ego-Perspektive erhebliche Schwierigkeiten haben, während eine schrittweise Zerlegung der Aktionen die Leistung zwar verbessert, aber mit hohem Rechenaufwand einhergeht.
Die Arbeit stellt FoodOntoRAG vor, ein feintuning-freies, ontologie-agnostisches Pipeline-System, das durch Retrieval-Augmented Generation (RAG) und multi-agentische Entscheidungsfindung eine robuste und interpretierbare Verknüpfung von Lebensmittelentitäten auch bei Ontologie-Drift ermöglicht.
Dieser Artikel stellt eine aktualisierte und kombinierte Version des EPIC-EuroParl-UdS-Korporas vor, das um linguistische Annotationen und informationstheoretische Metriken erweitert wurde, um Forschungen zur Sprachvariation, Übersetzungsanalyse und insbesondere zur Vorhersage von Füllwörtern im Dolmetschen mittels probabilistischer Modelle zu unterstützen.
Das Paper stellt MITRA vor, ein auf On-Premise-RAG basierendes KI-System für physikalische Kollaborationen wie CMS, das durch eine automatisierte Dokumentenextraktion und eine zweistufige Vektordatenbank-Architektur präzise kontextbezogene Antworten auf Forschungsfragen liefert, während sensible Daten vollständig privat bleiben.
Das Paper stellt One-Eval vor, ein agentisches System, das natürliche Sprachanfragen in ausführbare, nachvollziehbare und anpassbare Evaluierungsworkflows für Large Language Models umwandelt, um manuelle Aufwände zu reduzieren und die Reproduzierbarkeit in industriellen Anwendungen zu verbessern.
Diese Arbeit stellt eine Methode vor, die Chow-Liu-Bäume nutzt, um die Verarbeitungsreihenfolge von Textchunks in Chain-of-Agents-Frameworks zu optimieren, wodurch Informationsverluste reduziert und die Genauigkeit bei langen Kontexten im Vergleich zu herkömmlichen Ansätzen signifikant verbessert wird.
Die Studie zeigt, dass Sprachmodelle, deren Vorhersagen stark mit einfachen N-Gramm-Statistiken übereinstimmen, die menschliche Lesedauer besser vorhersagen als komplexere Transformer-Modelle, da die Lesedauer eher auf diese einfachen statistischen Muster als auf hochkomplexe linguistische Strukturen reagiert.