8941 Arbeiten
Die vorgestellte Arbeit schlägt einen Dual-Prior-Interaktions-Transformer vor, der durch die effiziente Generierung von Transmissions-Priors mittels eines lokalen linearen Korrektur-Netzwerks und deren tiefen Fusion mit allgemeinen Priors den Zustand der Technik bei der Trennung von Reflexionen und Transmissionen in Einzelbildern verbessert.
Diese Arbeit zeigt, dass durch die Umwandlung von 2D+-Elektronenmikroskopie-Daten in Pseudo-RGB-Eingaben eine unerwünschte Kanal-Asymmetrie in vortrainierten Modellen entsteht, und schlägt eine gezielte Gewichtsmodifikation vor, um diese Verzerrung zu eliminieren, ohne die Segmentierungsgenauigkeit zu beeinträchtigen.
Das Paper stellt RAVENEA vor, einen neuen Benchmark, der durch die Integration von über 11.000 kuratierten Wikipedia-Dokumenten und die Evaluation von Retrieval-Augmented-Generation-Systemen die Lücke im kulturellen Verständnis multimodaler Vision-Sprach-Modelle schließt und nachweist, dass kulturbewusste Abrufmechanismen die Leistung bei visuellen Fragen und Bildbeschreibungen signifikant verbessern.
Das Paper stellt ICon (Inter-token Contrast) vor, eine kontrastive Lernmethode für Vision Transformer, die durch die Trennung agentenspezifischer von umgebungsspezifischen Token effizientere und übertragbare Robotersteuerungsstrategien ermöglicht.
Das Paper stellt OmniEarth-Bench vor, den ersten multimodalen Benchmark, der mit 109 expertenkuratierten Aufgaben systematisch alle sechs Erdsphären und deren Wechselwirkungen bewertet und dabei zeigt, dass selbst fortschrittlichste Multimodal-Modelle in diesem Bereich erhebliche kognitive Defizite aufweisen.
Die Arbeit stellt MS-Splatting vor, ein Framework für multi-spektrale 3D-Gaussian-Splatting, das mithilfe einer neuronalen Farbrepräsentation und eines gemeinsamen Feature-Embeddings konsistente neue Ansichten aus verschiedenen Spektralbereichen ohne Kreuzkalibrierung erzeugt und dabei sowohl die multispektrale als auch die einzel-spektrale Renderqualität verbessert.
Das Paper stellt AliTok vor, einen neuartigen, ausgerichteten Tokenizer, der durch die Umgestaltung der Abhängigkeitsstruktur von Bild-Token-Sequenzen die inhärente Fehlausrichtung zwischen bidirektionalen Tokenisierungen und unidirektionalen autoregressiven Modellen auflöst und so eine State-of-the-Art-Bildgenerierung mit hoher Qualität und schnellerer Inferenz als Diffusionsmodelle ermöglicht.
Die Studie stellt „Stretch-and-Squeeze" (SnS), ein gradientenfreies Framework vor, das systematisch die maximal invarianten Reize und die Anfälligkeit für adversariale Angriffe in biologischen und künstlichen visuellen Systemen charakterisiert, indem es Bildtransformationen als bi-zieloptimierte Probleme formuliert, um zu zeigen, wie sich Invarianzen je nach Verarbeitungsebene unterscheiden und die Interpretierbarkeit durch Menschen beeinflussen.
Die Studie stellt HMSViT vor, einen hierarchischen, selbstüberwachten Vision Transformer, der durch effiziente Multi-Scale-Feature-Extraktion und blockmaskiertes Lernen eine präzise Segmentierung von Hornhautnerven und eine zuverlässige Diagnose der diabetischen Neuropathie ermöglicht und dabei den aktuellen Stand der Technik übertrifft.
Das Paper stellt DeepRare vor, ein auf großen Sprachmodellen basierendes Multi-Agenten-System, das durch die Integration heterogener klinischer Daten und über 40 spezialisierter Tools präzise Differentialdiagnosen für seltene Erkrankungen mit nachvollziehbarer, evidenzbasierter Begründung liefert und dabei in umfangreichen Tests signifikant bessere Ergebnisse als bestehende Methoden erzielt.
Die Studie stellt SPATIA vor, ein multimodales generatives Modell, das Zellmorphologie, Genexpression und räumlichen Kontext integriert, um hochauflösende Gewebedaten zu analysieren, Zellphänotypen unter Störungen vorherzusagen und dabei in verschiedenen Aufgaben die Leistung bestehender Methoden zu übertreffen.
Die Arbeit stellt „Recall" vor, ein neuartiges Framework für multimodale Angriffe, das durch die Optimierung adversarieller Bild-Prompts die Robustheit bestehender Verfahren zum maschinellen Vergessen (Unlearning) in Bildgenerierungsmodellen effektiv untergräbt und deren Sicherheitslücken aufdeckt.
Die Autoren stellen DGFDNet vor, einen dual-domänen-basierten Entnebelungsansatz, der durch die explizite Ausrichtung von räumlichen und Frequenzmerkmalen mittels eines Haze-Aware Frequency Modulators und eines Multi-level Gating Aggregation Modules sowie einer Prior-Korrektur-Branch sowohl hohe Leistung als auch Recheneffizienz bei komplexen Nebelbedingungen erreicht.
Die Arbeit stellt U-MARVEL vor, ein einheitliches Framework, das durch eine umfassende Analyse und Optimierung von Schlüsselfaktoren beim Embedding-Learning mit Multimodalen Large Language Models (MLLMs) den State-of-the-Art bei der universellen multimodalen Suche auf dem M-BEIR-Benchmark deutlich übertrifft.
Die Autoren stellen den Latent Denoising Tokenizer (l-DeTok) vor, der durch die direkte Ausrichtung auf das Denoising-Ziel die Rekonstruierbarkeit latenter Embeddings verbessert und damit die Generierungsqualität über verschiedene Bildgenerierungsmodelle hinweg signifikant steigert.
Die Arbeit stellt 3DRot vor, eine plug-and-play-Augmentierungsmethode, die RGB-basierte 3D-Aufgaben wie Detektion und Tiefenschätzung verbessert, indem sie Bilder um den optischen Zentrum rotiert und dabei gleichzeitig Kameraparameter und 3D-Annotationen aktualisiert, um geometrische Konsistenz ohne Szenentiefe zu gewährleisten.
Diese Studie zeigt, dass die Verwendung von hyperspektralen Bilddaten mit optimaler Bandauswahl im Vergleich zu RGB-Bildern die Segmentierungsgenauigkeit von Fußgängern und Fahrern in urbanen Szenen signifikant verbessert und somit das Potenzial für sicherheitskritische Automobilanwendungen unterstreicht.
Das Paper stellt GelSLAM vor, ein Echtzeit-3D-SLAM-System, das ausschließlich auf taktile Sensoren zurückgreift, um Objekte über lange Zeiträume präzise zu lokalisieren und ihre Formen mit submillimetergenauer Auflösung zu rekonstruieren.
Die Arbeit stellt CellINR vor, ein Framework auf Basis impliziter neuronaler Repräsentation, das durch Blind-Convolution und Strukturverstärkung photoinduzierte Artefakte in der 4D-Lebendfluoreszenzmikroskopie effektiv entfernt und gleichzeitig erstmals einen gepaarten Datensatz für die Evaluierung bereitstellt.
Diese Arbeit stellt einen neuartigen Rahmen vor, der mithilfe von CLIP-gesteuerten Diffusions-Transformern und Large Language Models Bilder in biologisch plausible M/EEG-Signale umwandelt, um die bisher vernachlässigte Kodierungsphase visueller Prothesen zu vervollständigen.