9070 Arbeiten
Diese Arbeit bietet den ersten umfassenden Überblick über multimodale generative Modelle, die 2D-, Video-, 3D- und 4D-Generierung in einem einheitlichen Rahmen zusammenführen, um die Simulation der realen Welt durch die systematische Integration verschiedener Daten-Dimensionalitäten zu verbessern.
Die Arbeit stellt MeCo vor, ein semantisch orientiertes Framework für Video-LLMs, das durch strukturelle Token-Generierung, query-fokussierte Captioning und kontrastives Grounding eine präzisere temporale Lokalisierung von Ereignissen ermöglicht als herkömmliche Methoden, die auf der direkten Generierung von Zeitstempeln basieren.
Das Paper stellt AudioX vor, ein einheitliches Framework für die Generierung von Audio aus beliebigen Eingaben, das durch einen multimodalen Anpassungsmodul und einen neuartigen, groß angelegten Datensatz (IF-caps) eine überlegene Leistung bei der Erzeugung von Audio und Musik unter flexiblen multimodalen Kontrollsignalen erzielt.
Die Autoren stellen Car-1000 vor, ein neues groß angelegtes Datenset für die feinabgestufte visuelle Kategorisierung von 1000 verschiedenen Automodellen aus 166 Herstellern, das die veralteten Grenzen des Stanford-Car-Datensatzes überwindet und als neuer Benchmark für die Forschung im Bereich autonomes Fahren und Verkehrssurveillance dient.
Diese Arbeit bietet erstmals einen umfassenden Überblick über die Forschung zur Generierung menschlicher Interaktionsbewegungen, indem sie Grundlagen, bestehende Lösungen und Datensätze für Mensch-Mensch-, Mensch-Objekt- und Mensch-Szenen-Interaktionen sowie Evaluierungsmetriken systematisch zusammenfasst und zukünftige Forschungsrichtungen diskutiert.
Die Autoren stellen mit S2R-HDR den ersten großskaligen synthetischen HDR-Datensatz vor, der auf Unreal Engine 5 basiert, und kombinieren diesen mit einer Domänenanpassungsmethode (S2R-Adapter), um die Generalisierungsfähigkeit von lernbasierten HDR-Fusionsmodellen zu verbessern und state-of-the-art-Ergebnisse auf realen Daten zu erzielen.
Das Paper stellt RainPro-8 vor, ein effizientes Deep-Learning-Modell, das durch die Integration von Radar-, Satelliten- und NWP-Daten präzise, hochauflösende probabilistische Niederschlagsvorhersagen für einen 8-Stunden-Horizont in Europa liefert und dabei bestehende operative Systeme sowie Deep-Learning-Nowcasting-Modelle übertrifft.
Die Arbeit stellt GaussianFormer3D vor, ein neuartiges Framework für die semantische 3D-Belegungsvorhersage, das durch eine LiDAR-initialisierte 3D-Gauß-Methode und einen LiDAR-gesteuerten deformierbaren Aufmerksamkeitsmechanismus im Vergleich zu herkömmlichen Voxel-basierten Ansätzen eine state-of-the-art Genauigkeit bei gleichzeitig reduziertem Speicherbedarf und höherer Effizienz erreicht.
Die vorgestellte Arbeit schlägt einen Dual-Prior-Interaktions-Transformer vor, der durch die effiziente Generierung von Transmissions-Priors mittels eines lokalen linearen Korrektur-Netzwerks und deren tiefen Fusion mit allgemeinen Priors den Zustand der Technik bei der Trennung von Reflexionen und Transmissionen in Einzelbildern verbessert.
Diese Arbeit zeigt, dass durch die Umwandlung von 2D+-Elektronenmikroskopie-Daten in Pseudo-RGB-Eingaben eine unerwünschte Kanal-Asymmetrie in vortrainierten Modellen entsteht, und schlägt eine gezielte Gewichtsmodifikation vor, um diese Verzerrung zu eliminieren, ohne die Segmentierungsgenauigkeit zu beeinträchtigen.
Das Paper stellt RAVENEA vor, einen neuen Benchmark, der durch die Integration von über 11.000 kuratierten Wikipedia-Dokumenten und die Evaluation von Retrieval-Augmented-Generation-Systemen die Lücke im kulturellen Verständnis multimodaler Vision-Sprach-Modelle schließt und nachweist, dass kulturbewusste Abrufmechanismen die Leistung bei visuellen Fragen und Bildbeschreibungen signifikant verbessern.
Das Paper stellt ICon (Inter-token Contrast) vor, eine kontrastive Lernmethode für Vision Transformer, die durch die Trennung agentenspezifischer von umgebungsspezifischen Token effizientere und übertragbare Robotersteuerungsstrategien ermöglicht.
Das Paper stellt OmniEarth-Bench vor, den ersten multimodalen Benchmark, der mit 109 expertenkuratierten Aufgaben systematisch alle sechs Erdsphären und deren Wechselwirkungen bewertet und dabei zeigt, dass selbst fortschrittlichste Multimodal-Modelle in diesem Bereich erhebliche kognitive Defizite aufweisen.
Die Arbeit stellt MS-Splatting vor, ein Framework für multi-spektrale 3D-Gaussian-Splatting, das mithilfe einer neuronalen Farbrepräsentation und eines gemeinsamen Feature-Embeddings konsistente neue Ansichten aus verschiedenen Spektralbereichen ohne Kreuzkalibrierung erzeugt und dabei sowohl die multispektrale als auch die einzel-spektrale Renderqualität verbessert.
Das Paper stellt AliTok vor, einen neuartigen, ausgerichteten Tokenizer, der durch die Umgestaltung der Abhängigkeitsstruktur von Bild-Token-Sequenzen die inhärente Fehlausrichtung zwischen bidirektionalen Tokenisierungen und unidirektionalen autoregressiven Modellen auflöst und so eine State-of-the-Art-Bildgenerierung mit hoher Qualität und schnellerer Inferenz als Diffusionsmodelle ermöglicht.
Die Studie stellt „Stretch-and-Squeeze" (SnS), ein gradientenfreies Framework vor, das systematisch die maximal invarianten Reize und die Anfälligkeit für adversariale Angriffe in biologischen und künstlichen visuellen Systemen charakterisiert, indem es Bildtransformationen als bi-zieloptimierte Probleme formuliert, um zu zeigen, wie sich Invarianzen je nach Verarbeitungsebene unterscheiden und die Interpretierbarkeit durch Menschen beeinflussen.
Die Studie stellt HMSViT vor, einen hierarchischen, selbstüberwachten Vision Transformer, der durch effiziente Multi-Scale-Feature-Extraktion und blockmaskiertes Lernen eine präzise Segmentierung von Hornhautnerven und eine zuverlässige Diagnose der diabetischen Neuropathie ermöglicht und dabei den aktuellen Stand der Technik übertrifft.
Das Paper stellt DeepRare vor, ein auf großen Sprachmodellen basierendes Multi-Agenten-System, das durch die Integration heterogener klinischer Daten und über 40 spezialisierter Tools präzise Differentialdiagnosen für seltene Erkrankungen mit nachvollziehbarer, evidenzbasierter Begründung liefert und dabei in umfangreichen Tests signifikant bessere Ergebnisse als bestehende Methoden erzielt.
Die Studie stellt SPATIA vor, ein multimodales generatives Modell, das Zellmorphologie, Genexpression und räumlichen Kontext integriert, um hochauflösende Gewebedaten zu analysieren, Zellphänotypen unter Störungen vorherzusagen und dabei in verschiedenen Aufgaben die Leistung bestehender Methoden zu übertreffen.
Die Arbeit stellt „Recall" vor, ein neuartiges Framework für multimodale Angriffe, das durch die Optimierung adversarieller Bild-Prompts die Robustheit bestehender Verfahren zum maschinellen Vergessen (Unlearning) in Bildgenerierungsmodellen effektiv untergräbt und deren Sicherheitslücken aufdeckt.