1955 Arbeiten
Die Arbeit stellt ein theoretisches Raster zur Analyse von Fehlerquellen bei langen Texten in LLMs vor und zeigt, dass eine strategische Aufteilung in Chunks mit einem Aggregator selbst schwächere Modelle in der Lage versetzt, komplexe Langkontextaufgaben effektiver zu lösen als leistungsstarke Einzelmodelle.
Das Paper stellt LongWriter-Zero vor, ein Reinforcement-Learning-Verfahren, das Large Language Models ohne synthetische Trainingsdaten in die Lage versetzt, ultra-lange und qualitativ hochwertige Texte zu generieren und dabei sowohl traditionelle SFT-Methoden als auch deutlich größere Modelle zu übertreffen.
Die Autoren stellen TTSDS2 vor, ein robustes Metrik-System, das als einzige von 16 verglichenen Kennzahlen in allen Domänen eine signifikante Korrelation mit subjektiven Bewertungen aufweist, und stellen zudem umfangreiche Ressourcen wie einen Datensatz mit über 11.000 Bewertungen und ein mehrsprachiges Benchmark für die Evaluierung menschenähnlicher Text-zu-Sprache-Systeme bereit.
Die Studie zeigt, dass sich die durch Reinforcement Post-Training erzielten Verbesserungen der Schlussfolgerungsfähigkeiten von Large Language Models zwar auf ähnliche Aufgaben übertragen, jedoch bei Domänen mit abweichenden Denkmustern inkonsistent sind oder ganz verloren gehen.
Die Studie zeigt, dass kognitive Modelle zur Analyse von Sprachmodellen eingesetzt werden können, um interpretierbare Wertkompromisse zu identifizieren, indem sie systematisch den Einfluss von Denkressourcen, Systemprompts und Trainingsdynamiken auf das Verhalten von LLMs untersuchen.
Die Arbeit stellt DAPFAM vor, einen neuartigen Patent-Datensatz auf Familienebene mit expliziten In- und Out-of-Domain-Partitionen, der als Benchmark dient, um die erheblichen Leistungseinbußen von Retrieval-Systemen bei der querdomainbezogenen Prioritätsrecherche aufzuzeigen und die Entwicklung robusterer IR-Systeme zu fördern.
XISM ist ein interaktives System, das datengetriebene Inferenz mit Expertenwissen kombiniert, um die transparente und skalierbare Erstellung sowie Evaluierung semantischer Karten durch iterative Verfeinerung und Echtzeit-Feedback zu ermöglichen.
Der Paper stellt FrugalRAG vor, ein zweistufiges Feinabstimmungsframework, das durch den gezielten Einsatz von Reinforcement Learning die Anzahl der Retrieval-Schritte in Multi-Hop-Frage-Antwort-Aufgaben an die Schwierigkeit der Frage anpasst und so eine überlegene Effizienz bei gleichzeitig hoher Genauigkeit mit nur etwa 1.000 Trainingsbeispielen erreicht.
Die vorgestellte Arbeit führt den SASFT-Ansatz ein, der mithilfe von Sparse Autoencodern unerwarteten Code-Switching in großen Sprachmodellen durch die Steuerung der Voraktivierungswerte spezifischer Sprachmerkmale während des Fine-Tunings effektiv reduziert, ohne dabei die multilinguistischen Fähigkeiten zu beeinträchtigen.
Die Studie stellt SpiroLLM vor, das erste multimodale Large Language Model, das mithilfe von UK-Biobank-Daten Spirogramme versteht und interpretierbare COPD-Berichte erstellt, wodurch die klinische Zuverlässigkeit und Diagnosegenauigkeit im Vergleich zu rein textbasierten Ansätzen erheblich gesteigert wird.
Die Arbeit stellt MultiRole-R1 vor, ein Diversitäts-fokussiertes Trainingsframework, das durch die Integration von Rollenperspektiven und Token-Vielfalt die Leistung von Large Reasoning Models bei subjektiven Aufgaben signifikant verbessert und dabei sogar die Fähigkeiten im mathematischen Reasoning steigert.
Die Studie widerlegt die Annahme, dass auswendiges Lernen die Generalisierung behindert, indem sie zeigt, dass große Sprachmodelle durch einen zweiphasigen Ansatz faktisches Wissen zunächst auswendig lernen und anschließend über semantisch sinnvolle Prompts erfolgreich generalisieren können.
Die Arbeit stellt DeepSieve vor, ein agentices RAG-Framework, das Large Language Models als Wissensrouter einsetzt, um komplexe Anfragen in strukturierte Teilfragen zu zerlegen und durch mehrstufige Filterung präzise, tiefgründige und interpretierbare Antworten aus heterogenen Quellen zu generieren.
Das Paper stellt Uni-CoT vor, ein einheitliches Chain-of-Thought-Framework, das durch eine zweistufige Denkstrategie und ein strukturiertes Trainingskonzept kohärente multimodale Schlussfolgerungen über Text und Bild hinweg ermöglicht und dabei ressourceneffizient auf nur acht A100-GPUs trainiert werden kann.
Die Studie zeigt, dass für Mixture-of-Experts-Modelle die optimale Sparsamkeit nicht allein durch den Trainingsverlust bestimmt wird, sondern durch das Zusammenspiel von aktiven FLOPs für das logische Schlussfolgern und dem Verhältnis von Gesamt-Token zu Parametern für das Auswendiglernen, was eine Revision der klassischen skalierbaren Berechnungsgesetze erfordert.
Die Arbeit stellt EigenBench vor, eine Black-Box-Methode, die mithilfe von EigenTrust und gegenseitigen Modellbewertungen ohne Ground-Truth-Labels quantitative Werte für die Ausrichtung von Sprachmodellen auf menschliche Werte ermittelt und dabei eine hohe Übereinstimmung mit menschlichen Urteilen sowie die Wiederherstellung bekannter Modellrankings zeigt.
Die Arbeit stellt GACD vor, eine feinstimulierungsfreie Inferenzmethode, die durch gradientenbasierte Schätzung und gezielte Unterdrückung von visuellen Verzerrungen sowie eine Neugewichtung multimodaler Beiträge Multimodal-Halluzinationen in großen Sprachmodellen effektiv reduziert.
Die Autoren stellen DQO vor, eine auf Determinantenpunktprozessen basierende Nachtrainierungsmethode für große Sprachmodelle, die semantische Vielfalt und Antwortqualität gleichzeitig optimiert, ohne die Leistungsfähigkeit zu beeinträchtigen.
BinaryShield ist ein bahnbrechendes System, das durch die Umwandlung von verdächtigen Prompts in datenschutzkonforme Fingerabdrücke mittels PII-Bereinigung, semantischer Einbettung und binärer Quantisierung die sichere, grenzüberschreitende Weitergabe von Bedrohungsinformationen zwischen LLM-Diensten ermöglicht, ohne die Compliance-Anforderungen zu verletzen.
Die Arbeit stellt SVDecode vor, eine theoretisch fundierte und parameter-effiziente Methode, die durch die Ableitung eines Steuerungsvektors aus dem KL-Divergenz-Gradienten die Ausgabe-Verteilung von Large Language Models direkt während des Dekodierprozesses anpasst und so die Leistung bei Downstream-Aufgaben signifikant verbessert, ohne zusätzliche trainierbare Parameter zu benötigen.