1071 Arbeiten
Diese Arbeit zeigt, dass die Anwendung von Low-Rank Adaptation (LoRA) im Federated Learning das Risiko der ungewollten Memorierung von Trainingsdaten in großen Sprachmodellen um bis zu den Faktor 10 reduziert, ohne dabei die Modellleistung signifikant zu beeinträchtigen.
Die Studie stellt LaVCa vor, eine datengestützte Methode, die große Sprachmodelle nutzt, um präzise natürliche Sprachbeschreibungen für die Selektivität von Neuronen im visuellen Kortex zu generieren und damit tiefere Einblicke in die menschliche visuelle Repräsentation sowie feinere funktionale Differenzierungen als bisherige Ansätze ermöglicht.
Die Studie stellt ein Clustering-basiertes Framework vor, das Aufgaben nach Schwierigkeitsgrad gruppiert, um die Leistung von Large Language Models auf zukünftigen Downstream-Aufgaben mit hoher Genauigkeit vorherzusagen und so die Herausforderungen unvorhersehbarer Skalierungseffekte und inkonsistenter Leistungsmuster zu überwinden.
Die vorgestellte Arbeit stellt HaLoRA vor, eine hardwarebewusste Low-Rank-Adaptionsmethode, die durch die Kombination von RRAM-basierten Vorkenntnissen und SRAM-basierten LoRA-Zweigen die Energieeffizienz von LLMs drastisch verbessert und gleichzeitig die durch RRAM-Rauschen verursachten Genauigkeitsverluste durch ein neuartiges Trainingsverfahren kompensiert.
Diese Studie zeigt, dass große Sprachmodelle zwar durch Fine-Tuning und RLHF weibliche Charaktere in Berufen überrepräsentieren, diese jedoch paradoxerweise weiterhin stärker an geschlechtsspezifischen Stereotypen als an realen Arbeitsmarktdaten ausgerichtet sind, was die Notwendigkeit ausgewogener Gegenmaßnahmen unterstreicht.
Die Arbeit stellt EDU-PRM vor, ein neuartiges, entropiegetriebenes Prozess-Reward-Modell, das durch automatische, unsicherheitsbasierte Segmentierung von Denkprozessen teure manuelle Annotationen eliminiert und gleichzeitig bei deutlich reduziertem Trainingsdatenaufwand sowie effizienterer Token-Nutzung state-of-the-art Ergebnisse in der mathematischen Problemlösung erzielt.
Das Papier stellt CAWAI vor, ein Retrieval-Modell, das durch das gleichzeitige Lernen semantischer und kausaler Zusammenhänge die Genauigkeit von Informationsabrufsystemen in wissensintensiven Domänen wie Biomedizin und Recht verbessert.
Die Studie zeigt, dass die Kombination von Large Language Models zur Extraktion linguistischer und kognitiver Merkmale mit baumbasierten maschinellen Lernalgorithmen eine genauere Schätzung der Aufgabenschwierigkeit für K-5-Mathematik- und Lesetests ermöglicht als direkte LLM-Schätzungen und somit den Bedarf an aufwendigen Vorabtests reduziert.
Dieses Paper stellt Task 5 des DCASE 2025 Challenges vor, ein mehrdomäniges Benchmark für Audio-Frage-Antwort-Aufgaben, das darauf abzielt, die akustische reasoning-Fähigkeit von Audio-Sprachmodellen durch die Evaluierung in Bereichen wie Bioakustik und komplexen Klanglandschaften zu verbessern.
Der Artikel stellt FreeKV vor, ein trainingsfreies Framework zur Algorithmen-System-Optimierung, das durch spekulative Abrufverfahren und hybride Speicherkonzepte die Effizienz des KV-Cache-Retrieval für LLMs erheblich steigert, ohne dabei die Genauigkeit zu beeinträchtigen.
Die Studie stellt einen neuro-symbolischen Ansatz vor, der durch das Abrufen analoger Probleme und die Nutzung eines formalen Verifizierers die Fähigkeit von Large Language Models zur Erzeugung korrekter Beweise in der euklidischen Geometrie signifikant verbessert.
Die Arbeit stellt MAS-ZERO vor, ein bahnbrechendes, selbstentwickelndes Inferenzzeit-Framework, das Multi-Agenten-Systeme ohne Validierungsdatensätze automatisch anpasst und durch dynamische Problemanalyse sowie Meta-Feedback signifikant höhere Genauigkeiten bei Reasoning-, Coding- und Agentenaufgaben im Vergleich zu manuellen und bestehenden automatischen Ansätzen erzielt.
Das Paper stellt HDLxGraph vor, ein Framework, das durch die Integration von Abstract Syntax Trees und Data Flow Graphs in Retrieval-Augmented Generation die Lücken bei der Verarbeitung von Hardware-Beschreibungssprachen schließt und gleichzeitig einen neuen Benchmark namens HDLSearch einführt, um die Genauigkeit von Such-, Debugging- und Vervollständigungsaufgaben signifikant zu verbessern.
Die Arbeit stellt SwingArena vor, ein kompetitives Evaluierungsframework für Large Language Models, das reale Softwareentwicklungsworkflows durch die Paarung von Modellen als Patch-Ersteller und Prüfer in CI-Pipelines nachbildet und dabei ein retrieval-basiertes Modul zur Bewältigung langer Kontexte in großen Codebasen einsetzt.
Die Arbeit stellt MMTU vor, ein umfassendes Benchmark mit über 28.000 Fragen zu 25 realen Tabellenaufgaben, das die aktuellen Grenzen von KI-Modellen bei der Experten-Nutzung strukturierter Daten aufzeigt und als Impuls für zukünftige Fortschritte dient.
Die Arbeit stellt CyclicReflex vor, eine trainingsfreie Decodierungsstrategie, die durch die zyklische Anpassung der Wahrscheinlichkeiten für Reflexionstoken die Testzeit-Leistung von Large Reasoning Models verbessert und dabei Über- sowie Unterreflexion vermeidet.
Die vorgestellte Methode „Motivation-enhanced Reinforcement Finetuning" (MeRF) verbessert das Reinforcement Learning mit verifizierbaren Belohnungen bei großen Reasoning-Modellen, indem sie die Belohnungsfunktion als kontextuelle Motivation direkt in den Prompt integriert, um die Generierung mit dem Optimierungsziel auszurichten und so die Leistung signifikant zu steigern.
Die Arbeit identifiziert die „Agreement Bias" als zentrales Hindernis für Multimodale LLMs als Verifizierer und schlägt mit SGV eine zweistufige, selbstverankerte Methode vor, die die Fehlererkennung und Aufgabenabschlussraten in Bereichen wie Webnavigation und Robotik signifikant verbessert.
Diese Arbeit stellt das UGST-Framework vor, das durch ein dreistufiges Verfahren und neue Evaluierungsmetriken die Fähigkeit von LLM-basierten User-Simulatoren verbessert, ihre Ziele über mehrere Gesprächsdurchgänge hinweg konsistent zu verfolgen und zielgerichtete Antworten zu generieren.
Das Paper stellt MathSmith vor, ein Framework, das durch die Generierung völlig neuer, synthetischer mathematischer Probleme aus PlanetMath-Daten und deren Optimierung mittels verstärkendem Lernen die Fähigkeiten von Sprachmodellen beim Lösen extrem schwieriger mathematischer Aufgaben signifikant verbessert.