Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
Diese Arbeit stellt ein neues Fine-Tuning-Framework vor, das die Robustheit von Vision Transformern gegenüber Verteilungsverschiebungen verbessert, indem es die Modellentscheidungen durch automatisch generierte, konzeptbasierte Masken auf semantisch relevante Objektmerkmale lenkt und so den Fokus von irreführenden Hintergrundkorrelationen abwendet.