5561 Arbeiten
Die vorgestellte Arbeit schlägt eine zweistufige Methode vor, die ein strukturelles kausales Modell im latenten Raum eines VQ-VAE nutzt, um hochwertige und diverse 3D-Gehirn-MRT-Kontrafaktika zu generieren und so die Herausforderungen kleiner Datensätze und der begrenzten Diversität herkömmlicher generativer Modelle zu überwinden.
Die Studie stellt den MV-Adapter vor, eine adaptive Kanal-Aufmerksamkeitskomponente, die die Leistung des USIS-SAM-Modells bei der Instanzsegmentierung unter Wasser durch dynamische Anpassung der Merkmalsgewichtung an spezifische Unterwasserbedingungen wie Lichtabschwächung und Farbverzerrung signifikant verbessert.
Die Arbeit stellt XPoint vor, ein selbstüberwachtes, modulares Framework auf Basis von VMamba, das durch anpassbare Komponenten und geometrische Constraints eine robuste und schnelle Registrierung von Multispektralbildern über verschiedene Modalitäten hinweg ermöglicht.
EchoMimicV2 ist eine vereinfachte Methode zur realistischen Halb-Körper-Animation, die durch Audio-Pose-Dynamik, Head Partial Attention und phasenspezifische Verlustfunktionen überflüssige Bedingungen eliminiert und gleichzeitig die Ausdruckskraft von Gesicht und Gestik verbessert.
Die Arbeit stellt MFP3D vor, ein Framework zur präzisen Schätzung von Lebensmittelportionen aus einzelnen monokularen Bildern, das durch die Generierung von 3D-Punktwolken und die Kombination von 3D- und 2D-Merkmale die Genauigkeit im Vergleich zu bestehenden Methoden deutlich verbessert.
Die Arbeit stellt Grounding-IQA vor, ein neues Paradigma für die Bildqualitätsbewertung, das multimodale Sprachmodelle mit Verankerungsfähigkeiten kombiniert, um durch den neu erstellten Datensatz GIQA-160K und das Benchmark GIQA-Bench feinere, lokal verankerte Qualitätsanalysen zu ermöglichen.
Die Arbeit stellt DAWN-FM vor, eine datenbewusste und rauschinformierte Flow-Matching-Methode, die durch die explizite Einbettung von Messdaten und Rauschinformationen robuste Lösungen für inverse Probleme wie Bildentwischung und Tomographie liefert und gleichzeitig eine Unsicherheitsquantifizierung ermöglicht.
Die Arbeit stellt FiLo++ vor, eine Methode zur Zero-/Few-Shot-Anomalieerkennung, die durch die Kombination von fusionierten, feingranularen Beschreibungen mittels großer Sprachmodelle und einer deformierbaren Lokalisierung mit Grounding DINO präzise Anomalien in verschiedenen Formen und Größen ohne vorab gelabelte Zielklassendaten erkennt.
Diese Arbeit stellt neue Aktivierungsfunktionen auf Basis orthogonaler Polynome, trigonometrischer Funktionen und tropischer Algebra vor, die durch varianzausgleichende Initialisierung das Training tiefer Modelle wie GPT-2 und ConvNeXt ohne Gradientenprobleme ermöglichen und sich zudem durch Hermite-Interpolation nahtlos zur Feinabstimmung an klassische Aktivierungen anpassen lassen.
Die Studie zeigt, dass ein auf tiefgenerativer Inferenz basierender Ansatz, der nur auf akuten CT-Angiographie-Daten beruht, die neuronalen Substrate von Schlaganfall-Symptomen präzise lokalisieren und dabei über die reine Läsionsanalyse hinausgehende Einblicke in die Durchblutungsstörungen liefern kann.
Die Studie zeigt, dass CLIP Attribute und Objekte zwar unimodal korrekt kodiert, diese Bindungsinformationen jedoch erst durch eine einfache lineare Transformation der Text-Embeddings für die cross-modale Ausrichtung nutzbar gemacht werden können, was eine effiziente Verbesserung der Modellleistung ohne Neutrainieren der Encoder ermöglicht.
Das Paper stellt WorldSense vor, den ersten Benchmark zur Bewertung des omnimodalen Videoverständnisses von Multimodal-LLMs, der durch die starke Kopplung von Audio und Video, eine große Vielfalt an Szenarien und hochwertige manuelle Annotationen bestehende Modelle vor erhebliche Herausforderungen stellt und neue Erkenntnisse für die Entwicklung realwelttauglicher KI-Systeme liefert.
Die Studie zeigt, dass weniger als 1 % der Parameter in Diffusionsmodellen – spezifisch in den Aufmerksamkeits-Schichten – für die Textgenerierung verantwortlich sind, und nutzt diese Erkenntnis für effizienteres Fine-Tuning, Textbearbeitung und die kostengünstige Verhinderung toxischer Inhalte.
Die Autoren stellen einen robusten Anpassungsrahmen für große multimodale Modelle vor, der durch Retrieval-Augmentation die Genauigkeit, Generalisierungsfähigkeit und Erklärbarkeit bei der Erkennung von Hass-Memes verbessert und dabei die Leistungsfähigkeit bestehender Methoden übertrifft.
Die Arbeit stellt „Jumbo" vor, einen effizienten Plain Vision Transformer, der durch die Einführung eines einzigen, breiten globalen Tokens die Geschwindigkeit erhöht und gleichzeitig die Genauigkeit sowie die Kompatibilität mit bestehenden ViT-Methoden verbessert.
Die Arbeit stellt mit MemeXplain den ersten groß angelegten Datensatz für erklärbare Erkennung von Propaganda und Hassmemes vor und schlägt einen mehrstufigen Optimierungsansatz für Vision-Language-Modelle vor, der sowohl die Klassifizierungsgenauigkeit als auch die Qualität der Erklärungen im Vergleich zum State-of-the-Art signifikant verbessert.
Das Paper stellt OpenFly vor, eine umfassende Plattform mit einem automatisierten Toolchain, einer großen Datensatzbasis und einem spezialisierten Agenten, um die bisher vernachlässigte Forschung zur visuell-sprachlichen Navigation im Außenbereich aus der Luft zu ermöglichen.
Das Paper stellt LLaVE vor, ein skalierbares multimodales Embedding-Modell, das durch einen Hardness-Weighted Contrastive Learning-Ansatz die Unterscheidung schwieriger Negativpaare verbessert und damit auf dem MMEB-Benchmark neue State-of-the-Art-Ergebnisse erzielt, die sogar größere Modelle übertreffen.
Das Paper stellt Vision-R1 vor, ein multimodales Sprachmodell, das durch die Kombination eines selbstgenerierten Cold-Start-Datensatzes und einer fortschrittlichen Reinforcement-Learning-Strategie (PTST mit GRPO) überlegene multimodale Schlussfolgerungsfähigkeiten erreicht und auf dem MathVista-Benchmark mit OpenAI O1 konkurrieren kann.
Die Arbeit stellt SemHiTok vor, einen einheitlichen Bild-Tokenisierer, der durch einen semantisch geführten hierarchischen Codebook-Ansatz die Herausforderung eines optimalen Kompromisses zwischen multimodalem Verständnis und Bildgenerierung löst, indem er semantische und pixelbasierte Merkmale strukturell entkoppelt.