163 Arbeiten
Diese Studie zeigt, dass selbstüberwachte Sprachmodelle über 96 Sprachen hinweg phonologische Merkmale in kompositionellen Vektoren kodieren, die eine lineare Vektorarithmetik ermöglichen, bei der das Hinzufügen oder Skalieren von Vektoren kontinuierliche phonologische Übergänge erzeugt.
Die Arbeit stellt V2A-DPO vor, ein neuartiges Framework zur direkten Präferenzoptimierung für flussbasierte Video-zu-Audio-Generierungsmodelle, das durch ein umfassendes AudioScore-Bewertungssystem, eine automatisierte Datengenerierungspipeline und eine Curriculum-Learning-Strategie die menschlichen Präferenzen in Bezug auf semantische Konsistenz, zeitliche Ausrichtung und klangliche Qualität verbessert und damit den aktuellen Stand der Technik übertrifft.
Diese Arbeit stellt ein Transformer-basiertes Framework für die audio-visuelle Emotionserkennung vor, das mithilfe von temporär ausgerichteten rotierenden Positionseingebettungen (TaRoPE) und einem Cross-Temporal Matching-Verlust die zeitliche Ausrichtung heterogener Modalitäten verbessert und so die Leistung gegenüber bestehenden Baselines steigert.
Das Papier stellt Uni-ASR vor, ein einheitliches LLM-basiertes Framework, das durch ein gemeinsames Trainingsparadigma und eine kontextbewusste Strategie nahtlos zwischen nicht-streaming- und streaming-fähiger Spracherkennung wechselt und dabei hohe Genauigkeit bei niedriger Latenz erreicht.
Diese Studie stellt eine systematische Untersuchung zur automatischen Spracherkennung bei Huntington-Krankheit vor, die durch die Einführung einer biomarkerbasierten auxiliary Supervision und die Anpassung von Modellen an pathologische Sprachmerkmale die Wortfehlerrate signifikant senkt und dabei zeigt, dass sich Fehlermuster in Abhängigkeit vom Schweregrad der Erkrankung spezifisch verändern.
Die Studie untersucht, ob ein auf Text trainiertes Sprachmodell zur Lokalisierung gefälschter Wörter in teilweise manipulierter Sprache eingesetzt werden kann, und stellt fest, dass das Modell zwar in-domäneneffektiv ist, jedoch zu stark auf spezifische Trainingsmuster angewiesen ist, was die Verallgemeinerung auf unbekannte Bearbeitungsstile erschwert.
Die Studie zeigt, dass ein auf XLS-R basierendes Modell mit nur den ersten drei Schichten die Erkennung von Hustenereignissen in Audiodaten für die Tuberkulose-Screening-Programme in Südafrika und Uganda mit hoher Präzision ermöglicht und dabei rechenintensive Alternativen wie den Audio Spectrogram Transformer übertrifft.
Der Artikel stellt Fair-Gate vor, ein fairheitsbewusstes und interpretierbares Risiko-Gating-Framework, das durch die Reduzierung demografischer Shortcut-Lernmuster und die Entflechtung geschlechtsbezogener Merkmale die Geschlechtergerechtigkeit in der Sprachbiometrie verbessert.
Die Studie zeigt, dass durch fortgesetztes Vortraining mit Pseudo-Labels und anschließendes Feinabstimmen auf nur 20.000 gelabelten Swahili-Daten ein State-of-the-Art-Ergebnis von 3,24 % Wortfehlerrate erreicht wird, was eine relative Verbesserung von 82 % gegenüber der Basislinie und 61 % gegenüber dem bisherigen akademischen Rekord darstellt.
Die Arbeit stellt SAGE vor, ein Rahmenwerk zur stufenadaptiven Zuverlässigkeitsmodellierung, das durch die dynamische Kalibrierung und Gewichtung von Audio- und Visual-Modi basierend auf deren Interaktionsstadium die Genauigkeit der kontinuierlichen Valenz-Arousal-Schätzung in realen Umgebungen verbessert.
Die Arbeit stellt AnimeScore vor, ein präferenzbasiertes Framework zur automatischen Bewertung von Anime-Stimmen, das auf 15.000 Paarvergleichen beruht und zeigt, dass SSL-Modelle mit 90,8 % AUC eine zuverlässige Metrik für die Optimierung generativer Sprachmodelle bieten.
Die Arbeit stellt ComVo vor, einen komplexwertigen neuronalen Vocodier, der durch native komplexe Arithmetik, Phasenquantisierung und ein effizientes Block-Matrix-Schema eine höhere Synthesequalität und schnellere Trainingszeiten als herkömmliche reellwertige Ansätze erreicht.
Die Arbeit stellt SEMamba++ vor, ein allgemeines Framework zur Sprachwiederherstellung, das durch die Einführung von Frequency GLP und einem multi-resolutionen Zeit-Frequenz-Dual-Verarbeitungsblock spezifische spektrale Muster wie Periodizität und Multi-Resolution-Analysen effizient nutzt, um bei geringem Rechenaufwand den aktuellen Stand der Technik zu übertreffen.
Die Arbeit stellt RAF (Relativistic Adversarial Feedback) vor, ein neues Trainingsziel für GAN-Sprachsynthesemodelle, das durch die Integration von selbstüberwachtem Lernen und relativistischem Pairing die Klangqualität und Generalisierungsfähigkeit verbessert und dabei BigVGAN mit nur 12 % der Parameter übertrifft.
Die Autoren stellen ein neuartiges kausales Prosodie-Mediations-Framework für das Text-zu-Sprache-System vor, das die FastSpeech2-Architektur durch explizite Emotionskonditionierung und kontrafaktische Trainingsziele erweitert, um emotionale Prosodie von linguistischem Inhalt zu entkoppeln und so eine präzisere Kontrolle über Dauer, Tonhöhe und Energie bei gleichzeitiger Verbesserung von Natürlichkeit und Emotionsdarstellung zu ermöglichen.
Die Studie stellt einen neuen Datensatz vor und zeigt, dass die Emotionserkennung aus Oberflächen-EMG-Signalen des Gesichts und des Halses sowohl bei phonierter als auch bei stummer Sprache zuverlässig möglich ist, wobei Frustration besonders gut mit einem AUC-Wert von 0,845 klassifiziert werden kann.
Die Arbeit stellt ein paralinguistisch erweitertes Feinabstimmungsverfahren (PE-FT) vor, das durch gezielte Schichtanalyse und eine duale Klassifizierungskopf-Architektur Large Audio Language Models befähigt, paralinguistische Hinweise effektiv zu nutzen und dabei sogar die Leistung einer vollständigen Schicht-Feinabstimmung übertrifft.
Die Arbeit stellt Dr. SHAP-AV vor, ein Framework zur Analyse der Beitragsverteilung von Audio- und Visualmodalitäten in der audiovisuellen Spracherkennung mittels Shapley-Werten, das aufzeigt, wie Modelle unter Rauschen zwar visuell dominieren, aber eine starke Audio-Bias beibehalten, und dabei SNR als treibenden Faktor für die Modalitätsbewertung identifiziert.
Die Arbeit stellt SGMD vor, ein stilgeleitetes Motion-Diffusion-Modell, das Transformer-Architekturen mit einem Stil-Modulationsmodul und einem räumlich-zeitlichen Maskierungsmechanismus kombiniert, um kontrollierbare, stilistisch konsistente und realistische Tanzsequenzen zu generieren, die sowohl zur Musik als auch zu benutzerdefinierten Stilvorgaben passen.
Die Arbeit stellt ExSampling vor, ein integriertes System aus Aufnahme- und Deep-Learning-Umgebung, das durch automatische Zuordnung von Feldaufnahmen zu Ableton-Live-Spuren die Echtzeit-Performance von Umgebungsgeräuschen sowie die Interaktion zwischen Aufnehmern, Komponisten und Performern ermöglicht.