7373 Arbeiten
Die Arbeit stellt Uni-MMMU vor, ein umfassendes Benchmark für multimodale Modelle, das durch bidirektionale Aufgaben in acht Disziplinen die Synergie zwischen visuellem Verständnis und Generierung systematisch evaluiert und damit neue Erkenntnisse für die Weiterentwicklung einheitlicher Modelle liefert.
Diese Arbeit stellt eine caption-basierte XAI-Methode vor, die durch die Integration eines zu erklärenden CNNs in das CLIP-Modell mittels eines neuartigen Netzwerkchirurgie-Ansatzes dominante Konzepte identifiziert, um die Robustheit von Modellen gegenüber Kovariatenverschiebungen zu erhöhen und irreführende Salienz-Karten zu vermeiden.
Das Paper stellt Cosmos-Predict2.5 und Cosmos-Transfer2.5 vor, eine neue Generation von Welt-Foundation-Modellen für physische KI, die durch eine einheitliche Architektur, verbesserte Textsteuerung und effizientere Simulationen die Erzeugung synthetischer Daten sowie die Entwicklung robuster robotischer Systeme vorantreiben.
Die Arbeit stellt CoMa vor, einen effizienten Vortrainingsansatz, der durch eine komprimierte Phase das semantische Verständnis von Multimodal Large Language Models verbessert und sie so mit wenig Daten zu wettbewerbsfähigen Embedding-Modellen für Downstream-Aufgaben macht.
Das Paper stellt QTSplus vor, einen leichten, abfragebewussten Token-Selektor für multimodale Sprachmodelle, der die visuellen Tokens in langen Videos dynamisch nach Relevanz filtert, um die Rechenkosten und Latenz drastisch zu senken, ohne dabei die Genauigkeit bei Aufgaben wie der zeitlichen Lokalisierung zu beeinträchtigen.
Das Paper stellt RobustGait vor, ein umfassendes Framework zur feingranularen Robustheitsanalyse von gait-basierten Erkennungssystemen, das durch die Einführung eines neuen Benchmarks mit 15 Korruptionsarten und fünf Schweregraden auf mehreren Datensätzen entscheidende Erkenntnisse über die Auswirkungen von Störungen, Silhouetten-Extraktionsverzerrungen und Architekturen liefert sowie Strategien zur Verbesserung der Einsatzbereitschaft aufzeigt.
Die Arbeit stellt NINT vor, eine Methode, die mithilfe des Neural Tangent Kernel (NTK) Koordinaten für das Training impliziter neuronaler Repräsentationen dynamisch auswählt, um die Trainingszeit im Vergleich zu bestehenden Ansätzen nahezu zu halbieren, ohne dabei die Rekonstruktionsqualität zu beeinträchtigen.
Die Arbeit stellt MIRA vor, einen leichten multimodalen Agenten, der durch einen iterativen Wahrnehmungs- und Denkprozess komplexe Bildbearbeitungsaufgaben präziser löst und damit die Leistung proprietärer Systeme erreicht oder übertrifft.
Die Autoren stellen ein einheitliches Framework für die luftgestützte visuell-sprachliche Navigation vor, das unbemannte Luftfahrzeuge allein auf Basis monokularer RGB-Bilder und natürlicher Sprachanweisungen navigiert, indem es räumliche, zeitliche und verkörperte Schlussfolgerungen durch Prompt-gesteuertes Multi-Task-Learning vereint und dabei bestehende RGB-only-Ansätze deutlich übertrifft.
Die Studie stellt KD-OCT vor, einen effizienten Wissensdistillierungsrahmen, der ein schweres ConvNeXtV2-Lehrmodell in einen leichten EfficientNet-B2-Schüler komprimiert, um eine klinisch hochwertige und für den Echtzeit-Einsatz optimierte Klassifizierung von altersbedingter Makuladegeneration und CNV in OCT-Bildern zu ermöglichen.
Die Arbeit stellt VULCA-Bench vor, ein multikulturelles Benchmark-Set mit 7.410 Bild-Kritik-Paaren aus acht kulturellen Traditionen, das die Fähigkeit von Vision-Language-Modellen zur tiefen kulturellen Interpretation über die reine Bilderkennung hinaus bewertet.
Die Arbeit stellt FigEx2 vor, ein visuell konditioniertes Framework, das mittels eines rauschangepassten Gating-Moduls und einer gestuften Optimierungsstrategie mit Bestärkendem Lernen automatisch Panels in wissenschaftlichen Compound-Figuren lokalisiert und präzise Bildunterschriften generiert, wodurch es den aktuellen State-of-the-Art-Modellen überlegen ist und eine starke Zero-Shot-Transferfähigkeit in verschiedenen wissenschaftlichen Domänen demonstriert.
Die vorgestellte Arbeit verbessert das Few-Shot Novel View Synthesis durch einen adaptiven Kamera-Gewichtungsmechanismus, der die Relevanz von Quellansichten für die Zielansicht entweder deterministisch oder mittels Cross-Attention lernt, um die Synthesegüte zu steigern.
Die Arbeit stellt DenseGRPO vor, ein neuartiges Framework, das das Problem der spärlichen Belohnungen bei Flow-Matching-Modellen löst, indem es schrittweise Belohnungen vorhersagt und einen belohnungsbewussten Mechanismus zur Anpassung des Explorationsraums einführt, um die Ausrichtung auf menschliche Präferenzen für Text-zu-Bild-Generierung zu verbessern.
Die vorgestellte Arbeit adressiert die durch extreme Blickwinkelunterschiede verursachten Verzerrungen bei der Personensuche zwischen Luft- und Bodenaufnahmen, indem sie einen leichten Modul zur geometriebedingten Korrektur des Ähnlichkeitsraums (GIQT) sowie einen geometrieabhängigen Prompt-Mechanismus einführt, um die Zuverlässigkeit von Attention-basierten Matching-Verfahren zu verbessern.
Das Paper stellt TimeBlind vor, ein diagnostisches Benchmark für multimodale Sprachmodelle, das deren mangelnde Fähigkeit zur feingranularen räumlich-zeitlichen Kompositionalität aufdeckt und zeigt, dass selbst fortschrittlichste Modelle im Vergleich zu menschlicher Leistung stark auf statische visuelle Merkmale statt auf echte zeitliche Logik angewiesen sind.
Die Arbeit stellt LatentLens vor, eine neue Methode zur Übersetzung latenter visueller Token-Repräsentationen in natürliche Sprache, die zeigt, dass visuelle Token in Vision-Language-Modellen über alle Schichten hinweg weitaus interpretierbarer sind als bisher angenommen.
Die vorgestellte Methode verbessert das Verständnis von Mehrbild-Eingaben in großen Vision-Sprachmodellen durch eine Skalierung der versteckten Zustände von Trennzeichen-Tokens, wodurch Informationslecks zwischen Bildern verhindert und die Leistung auf verschiedenen Benchmarks ohne zusätzliche Trainings- oder Inferenzkosten gesteigert wird.
Das Paper stellt HetroD vor, ein hochauflösendes Drohnendatenset und Benchmark für das autonome Fahren in heterogenem Verkehr, das durch umfangreiche Annotationen von schwachen Verkehrsteilnehmern und neue Evaluierungsergebnisse zeigt, dass bestehende Modelle Schwierigkeiten mit unstrukturierten Manövern und dichten Verkehrsszenen haben.
Die Arbeit stellt TIPS vor, einen auf räumlich bewussten Zielen trainierten Vision-Language-Modell-Hintergrund, der durch entkoppelte Prompts und die Integration lokaler Beweise ohne komplexe Zusatzmodule die Zero-Shot-Anomalieerkennung in industriellen Szenarien signifikant verbessert.