8255 Arbeiten
Die Arbeit stellt UnifiedReward vor, das erste einheitliche Belohnungsmodell, das durch das gemeinsame Lernen zur Bewertung vielfältiger visueller Aufgaben Synergieeffekte nutzt und sowohl das Verständnis als auch die Generierung von Bildern und Videos durch menschliche Präferenzalignment verbessert.
Die Arbeit TRACE zeigt, dass Text-zu-Bild-Diffusionsmodelle versteckte Instanzgrenzen in ihren Selbstaufmerksamkeitskarten enthalten, die durch eine effiziente Extraktionsmethode genutzt werden können, um hochpräzise Instanz- und Panoptische Segmentierung ohne manuelle Instanz-Labels zu erreichen.
Das Paper stellt AnyIR vor, einen effizienten und leichten Ansatz zur Bildrestauration, der durch eine gemeinsame Einbettung und eine räumlich-frequenzbasierte Parallelfusion verschiedene Degradationen in einem einzigen Modell ohne zusätzliche Sprachmodelle bewältigt und dabei gleichzeitig den Parameterbedarf um 84 % sowie die FLOPs um 80 % im Vergleich zum Stand der Technik reduziert.
Das Paper stellt Twin-Co vor, ein Framework, das durch einen synchronisierten, ko-adaptiven Dialog mit dem Nutzer die mehrdeutigen Eingaben bei der Text-zu-Bild-Generierung schrittweise verfeinert und so sowohl die Bildqualität als auch die Benutzererfahrung verbessert.
Diese Arbeit zeigt, dass die Schätzung von p-Laplace-Operatoren durch Diffusionsmodelle effektiv zur Identifizierung von Memorisierung in Trainingsdaten genutzt werden kann, wobei sowohl theoretische Fehlergrenzen bewiesen als auch die Anwendbarkeit auf textbasierte Bildgenerierung demonstriert wird.
Die Studie zeigt, dass ein feinabgestimmter, vortrainierter Transformer-basierter Hybridansatz (SMIT) durch balanciertes Curriculum-Learning eine dateneffiziente und robuste Segmentierung von kardialen Substrukturen in kontrastmittelverstärkten und nativen CT-Scans für die Strahlentherapieplanung ermöglicht, die mit einem vollständig annotierten Referenzmodell vergleichbar ist und dabei die Grenzen herkömmlicher CNN-Architekturen wie nnU-Net überwindet.
Das Paper stellt JailBound vor, ein zweistufiges Framework, das die inneren Sicherheitsgrenzen von Vision-Language-Modellen im latenten Raum ausnutzt, um durch gezielte Abtastung und gemeinsame Optimierung von Bild- und Texteingaben effektivere Jailbreak-Angriffe als bestehende Methoden zu ermöglichen.
Das Paper stellt PROGRESS vor, ein effizientes Framework zur priorisierten Konzeptlernung für Vision-Language-Modelle, das durch relative Fehler-basierte Stichprobenauswahl ohne aufwändige Vorannotationen oder zusätzliche Überwachung eine überlegene Leistung mit weniger Daten und Rechenressourcen ermöglicht.
Der Artikel stellt LoRA-Edit vor, eine Methode zur maskengesteuerten Feinabstimmung von LoRA in Bild-zu-Video-Modellen, die eine präzise Kontrolle über die zeitliche Entwicklung von Video-Edits ermöglicht, indem sie zwischen dem Erhalt von Quellinhalten und der Generierung neuer, konsistenter Inhalte oder Referenz-gesteuerter Erscheinungen unterscheidet.
Die Autoren stellen ein kosteneffizientes, lernbasiertes System zur Generierung stabiler HDR-Videos vor, das eine asynchrone Dual-Kamera-Konfiguration mit einem exposure-adaptiven Fusionsnetzwerk (EAFNet) kombiniert, um zeitliches Flackern und Geisterartefakte zu eliminieren.
Die Arbeit stellt RALU vor, ein trainingsfreies Framework zur räumlichen Beschleunigung von Diffusionstransformern durch gemischte Auflösung und anpassungsfähiges Latent-Upsampling, das Artefakte vermeidet und Geschwindigkeitssteigerungen von bis zu 15,9-fach ermöglicht.
Die Studie stellt PRISM vor, einen neuen Jailbreak-Ansatz für Large Vision-Language Models, der durch die Zerlegung schädlicher Anweisungen in harmlose visuelle Bausteine und deren programmatische Verknüpfung die Sicherheitsmechanismen der Modelle umgeht und dabei deutlich höhere Erfolgsquoten als bestehende Methoden erzielt.
Die Arbeit stellt LLaDA-MedV vor, das erste auf Biomedizin zugeschnittene Large Language Diffusion Model, das durch Vision Instruction Tuning neue State-of-the-Art-Ergebnisse in biomedizinischen Bildverständnis-Aufgaben erzielt und dabei Masked Diffusion-Modelle als vielversprechende Alternative zu autoregressiven Ansätzen etabliert.
Das Paper stellt Lang2Lift vor, ein autonomes Gabelstaplersystem für den Außenbereich, das natürliche Sprachbefehle nutzt, um mittels tiefenlernbasierter Wahrnehmung und Bewegungsplanung Gabeln präzise in Paletten einzuführen.
Die vorgestellte Arbeit führt das Voxel-Densifizierungsmodul (VDM) ein, das durch eine räumliche Expansion vor der Serialisierung die Sparsity von 3D-Punktwolken adressiert und so die Genauigkeit von Transformer- und SSM-basierten Objektdetektoren auf mehreren Benchmarks signifikant verbessert.
Die Arbeit stellt V²Drop vor, einen variationsbasierten Ansatz zum dynamischen Entfernen visueller Tokens in Large Vision-Language Models, der die Inferenzlatenz erheblich reduziert, ohne dabei die Leistung bei Bild- und Videoaufgaben signifikant zu beeinträchtigen.
Die Studie stellt MedicalPatchNet vor, eine selbst-erklärbare KI-Architektur für die Klassifizierung von Thorax-Röntgenbildern, die durch die patch-basierte Analyse und Aggregation von Bildregionen eine hohe diagnostische Genauigkeit mit einer verbesserten, intuitiven Nachvollziehbarkeit der Entscheidungsfindung verbindet und somit das Vertrauen in der klinischen Anwendung stärkt.
JanusVLN ist ein neuartiges Framework für die visuell-sprachbasierte Navigation, das durch eine duale implizite neuronale Speichermethode Semantik und räumliche Information entkoppelt, um die Effizienz zu steigern und den State-of-the-Art in diesem Bereich zu erreichen.
Die Arbeit führt das Konzept der „Grounding IDs" ein, latente Identifikatoren, die durch externe visuelle Hinweise entstehen und als symbolischer Mechanismus die multimodale Bindung zwischen Objekten und Text stärken, wodurch die Genauigkeit von Large Vision-Language-Modellen verbessert und Halluzinationen reduziert werden.
Diese retrospektive Studie zeigt, dass die Anwendung diskreter semantischer Entropie (DSE) zur Filterung von Fragen mit hoher Unsicherheit die diagnostische Genauigkeit von Black-Box-Vision-Language-Modellen in der Radiologie signifikant verbessert, indem sie Halluzinationen zuverlässig erkennt und eliminiert.