🤖 machine learning

FairSAM: Fair Classification on Corrupted Image Data Through Sharpness-Aware Minimization

이 논문은 손상된 이미지 데이터를 분류할 때 인구통계학적 하위 그룹 간의 강건성과 공정성 사이의 균형을 효과적으로 맞추기 위해 공정성 지향 전략을 Sharpness-Aware Minimization에 통합한 프레임워크인 FairSAM을 소개한다.

원저자: Yucong Dai, Jie Ji, Xiaolong Ma, Yongkai Wu

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yucong Dai, Jie Ji, Xiaolong Ma, Yongkai Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 사진 속 사람을 식별하는 데 매우 뛰어난 아주 똑똑한 로봇을 만들었다고 상상해 보세요. 당신은 이 로봇을 완벽한 조명이 갖춰진 깨끗하고 완벽한 스튜디오에서 훈련시켰습니다. 하지만 현실 세계의 사진은 결코 완벽하지 않습니다. 사진은 흐릿하거나, 눈에 덮여 있거나, 정적(static)으로 인해 거칠거나, 손떨림 현상이 있을 수 있습니다.

이 로봇이 이러한 "손상된(corrupted)" 사진을 볼 때, 단순히 조금 성능이 떨어지는 것에 그치지 않습니다. 로봇은 혼란에 빠집니다. 그리고 무서운 점은, 로봇이 누구를 찍은 사진인지에 따라 서로 다르게 혼란을 느낀다는 것입니다.

예를 들어, 로봇은 눈 내리는 사진에서도 젊은 남성은 거의 완벽하게 인식할 수 있지만, 똑같이 눈이 내리는 사진 속의 노인 여성은 완전히 인식하지 못할 수도 있습니다. 이는 불공정한 상황을 초ştir합니다. 즉, 로봇은 특정 집단에게는 잘 작동하지만 다른 집단에게는 실패하여, 기존의 편향을 증폭시킵니다.

FairSAM이라는 제목의 이 논문은 이러한 로봇을 훈련시키는 새로운 방법을 소개합니다. 이 방법은 단순히 로봇을 더 "강하게" 만드는 것이 아니라, 모두에게 똑같이 강하게 만드는 법을 가르칩니다.

문제점: "일률적인(One-Size-Fits-All)" 방패는 통하지 않는다

저자들은 기존의 방법들이 SAM(Sharpness-Aware Minimization)이라는 기술을 사용하여 로봇을 나쁜 사진에 대해 "강건하게(robust/strong)" 만들려고 노력했다고 설명합니다.

비유: SAM은 학생에게 소음이 있는 도서관에서 공부하는 법을 가르치는 것과 같습니다. 이는 학생이 소음을 무시하고 좋은 성적을 받을 수 있도록 도와줍니다.
결함: 학생의 평균 성적은 올라가지만, 이 방법은 학생이 자신의 학습 파트너들을 똑같이 돕고 있는지 확인하지 않습니다. 현실 세계에서 이는 로봇이 전반적으로는 더 좋아지겠지만, "불리한" 집단(예: 노인이나 특정 성별)은 사진 상태가 나쁠 때 유리한 집단보다 훨씬 더 많은 피해를 입게 된다는 것을 의미합니다. 로봇은 강건해졌지만, 공정해지지는 않았습니다.

해결책: FairSAM (공정성을 고려한 방패)

저자들은 SAM의 "노이즈 대응" 능력과 공정성 규칙을 결려한 새로운 훈련 방법인 FairSAM을 제안합니다.

이것은 코치가 비 오는 날 경기를 치르는 스포츠 팀을 훈련시키는 것과 같습니다.

기존 방식 (SAM): 코치는 팀 전체가 빗속을 달릴 수 있도록 훈련합니다. 팀의 전반적인 속도는 빨라집니다. 하지만 코치는 키가 작은 선수들이 키 큰 선수들보다 훨씬 더 많이 미끄러지고 넘어진다는 사실을 알아차리지 못합니다.
FairSAM: 코치는 키 작은 선수들이 더 힘들어한다는 것을 깨닫습니다. 그래서 코치는 훈련 방식을 조정합니다. 팀 전체를 여전히 훈련시키면서도, 키 작은 선수들에게 특별한 주의와 구체적인 드릴(drill)을 제공합니다. 코치는 비가 내리기 시작할 때, 누구도 다른 누구보다 현저하게 더 많이 미끄러지지 않도록 보장합니다.

작동 원리 (쉬운 설명으로 보는 메커니즘)

이 논문은 **"손상된 퇴화 격차(Corrupted Degradation Disparity)"**라고 불리는 새로운 측정 방식을 도입합니다.

지표: 단순히 "로봇이 사진을 몇 개 맞혔는가?"라고 묻는 대신, "그룹 A와 그룹 B를 비교했을 때 로봇의 성능이 얼마나 떨어졌는가?"라고 묻습니다.
목표: 우리는 그 성능 저하가 모두에게 동일하기를 원합니다. 만약 로봇이 그룹 A를 인식하는 능력이 10% 떨어진다면, 그룹 B에 대해서도 똑같이 10%만 떨어져야 합니다.

이를 달实现하기 위해 FairSAM은 두 가지 주요 작업을 수행합니다.

고군분투에 대한 가중치 부여: 훈련 중에, 더 "어려운" 예시들과 보통 뒤처지기 쉬운 집단에 더 많은 주의를 기울입니다. 이는 마치 선생님이 어려움을 겪는 학생들에게 시험 점수를 더 주어, 선생님이 그들의 구체적인 약점을 고치는 데 집중하도록 하는 것과 같습니다.
배치 처리(Batch Processing): 이를 효율적으로 수행합니다. 모든 사진을 하나하나 개별적으로 확인하는 대신(그러면 시간이 너무 오래 걸립니다), 사진 묶음 단위로 한꺼번에 확인하며 그룹 전체의 "노이즈"를 계산하여 훈련 속도를 유지합니다.

연구 결과

연구진은 다양한 종류의 "노이즈"(눈, 흐림, 정적)가 포함된 실제 사진 데이터셋(유명인 얼굴 및 의료 X-레이 등)을 통해 테스트를 진행했습니다.

결과: FairSAM은 단순히 로봇을 강하게 만든 것이 아니라, 그 강함을 고르게 분배했습니다.
트레이드오프(Trade-off): 보통 시스템을 더 공정하게 만들면 전체적인 정확도는 약간 떨어지기 마련입니다. 그러나 FairSAM은 전반적인 정확도를 높게 유지하면서도, 서로 다른 집단 간의 성능 격차를 획기적으로 줄였습니다.
증거: 테스트 결과, FairSAM은 다른 모든 방법과 비교했을 때 가장 낮은 "불공정 점수"(손상된 퇴화 격차)를 기록했습니다. 이는 사진 상태가 나쁠 때 로봇의 성능 저하가 모두에게 평등하게 일어났음을 의미합니다.

핵심 요약

이 논문은 데이터가 지저분한 경우가 많은 현실 세계에서, 우리는 단순히 "강한" AI를 만드는 것만으로는 부족하다고 주장합니다. 우리는 모두에게 강한 AI를 만들어야 합니다. FairSAM은 "날씨"가 나빠질 때(데이터가 손상될 때), AI가 특정 집단을 추위 속에 남겨두지 않도록 보장하는 도구입니다. 이는 강건함(robustness)과 공정성(fairness)이 함께 갈 수 있도록 저울의 균형을 맞춥니다.

기술 요약: FairSAM: 샤프니스 인식 최소화(Sharpness-Aware Minimization)를 통한 오염된 이미지 데이터에서의 공정 분류

문제 정의

깨끗한 데이터로 학습된 딥 뉴럴 네트워크는 배포 시 오염된 테스트 데이터(예: 임펄스 노이즈, 가우시안 노이즈, 기상 현상 또는 모션 블러의 영향을 받은 이미지)에 직면할 때 급격한 성능 저하를 겪는 경우가 많습니다. 최근 연구 결과에 따르면 이러한 성능 저하는 균등하게 발생하지 않습니다. 즉, 특정 인구 통계적 하위 그룹에 불균형적으로 영향을 미쳐 알고리즘의 편향을 증폭시킵니다. SAM(Sharpness-Aware Minimization)과 같은 기존의 강건한 학습 방법들은 전반적인 일반화 성능과 노이즈에 대한 회복력을 개선하지만, 인구 통계적 그룹 간의 불평등한 성능 저하 문제를 해결하지는 못합니다. 반대로, 표준적인 공정성 인식 방법들은 데이터 오염 상황에서의 강건성을 유지하는 데 어려움을 겪는 경우가 많습니다. 이는 강건성(robustness)을 달성하는 것과 오염된 환경에서 공정성(fairness)을 보장하는 것 사이에 내재된 긴장 관계를 형성합니다.

방법론: FairSAM

이러한 긴장을 해결하기 위해 저자들은 공정성 지향 전략을 SAM 최적화 과정에 통합하는 프레임워크인 FairSAM을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 새로운 공정성 지표: 오염된 저하 격차 ( $\Delta p$ )

저자들은 성능 저하와 관련하여 공정성을 정량화하기 위한 지표를 도입함으로써 문제를 공식화했습니다.

오염된 저하 ( $\Delta p_s$ ): 특정 인구 통계적 하위 그룹 $s$ 에 대해 깨끗한 훈련 데이터( $D_T$ )와 오염된 테스트 데이터( $D_C$ ) 사이의 성능 지표의 절대적 차이로 정의됩니다: $\Delta p_s = |M(D_T^{s}, f) - M(D_C^{s}, f)|$ .
오염된 저하 격차 ( $\Delta p$ ): 우위 그룹( $s^+$ )과 불리 그룹( $s^-$ ) 간의 저하 차이에 대한 절대값입니다: $\Delta p = |\Delta p_{s^+} - \Delta p_{s^-}|$ .
$\Delta p$ 가 낮을수록 모델의 강건성이 하위 그룹 간에 더 공정하게 분배되었음을 의미합니다.

2. 인스턴스 재가중치 적용 SAM (Instance-Reweighted SAM)

표준 SAM은 파라미터의 근방 내에서 최대 손실을 최소화하지만 모든 샘플을 동일하게 취급하므로, 다수 그룹이 최적화를 지배하게 만들 수 있습니다. FairSAM은 그래디언트 기여도를 균형 있게 맞추기 위해 재가중치 메커니즘을 도입합니다.

그룹 제약 조건: 이 방법은 각 인구 통계적 그룹 내 샘설의 가중치 합을 상수 $c$ 로 제한하여, 그룹의 크기와 관계없이 각 그룹이 목적 함수에 동일하게 기여하도록 보장합니다.
샤프니스 기반 재가중치: 각 그룹 내에서, 개별 인스턴스의 샤프니스(섭동 하에서의 최대 손실이 더 큰 경우)가 높은 샘플은 더 높은 가중치를 받습니다. 이는 그룹 수준의 균형을 유지하면서도 각 그룹 내의 "어려운" 예시들을 우선시합니다.

3. 효율적인 배치별 섭동 (Efficient Per-Batch Perturbation)

모든 샘플에 대해 개별적인 적대적 섭동을 계산하는 데 드는 계산 비용(배치당 $N$ 번의 순전파 필요)을 피하기 위해, FairSAM은 효율적인 근사치를 도출합니다.

2차 테일러 전개(second-order Taylor expansion)를 사용하여 가중치가 적용된 개별 인스턴스 목적 함수를 근사합니다.
그룹 멤버십 제약과 인스턴스 샤프니스를 모두 포함하는 가중치 $g_i$ 를 사용하여 가중치 적용 배치 손실 $\ell_b(w) = \sum g_i \ell_i(w)$ 를 구성합니다.
공정성 제약을 준수하면서도 SAM의 계산 효율성을 유지하기 위해, 가중치 적용 배치 손실의 그래디언트를 기반으로 단일 배치 섭동 $\epsilon^*$ 을 계산합니다.

주요 기여

문제 공식화: 본 논문은 이미지 분류 시 데이터 오염 상황에서의 "강건성 편향(robustness bias)" 과제를 식별하고 공식화하였으며, 표준적인 강건성 방법들이 의도치 않게 공정성 격차를 악화시킬 수 있음을 강조합니다.
지표 제안: 일회성 공정성 개념과는 구별되는, 성능 저하의 공정성을 평가하기 위한 **오염된 저하 격차(Corrupted Degradation Disparity)**를 도입했습니다.
프레임워크 개발: SAM에 공정성 전략을 통합한 최초의 프레임워크인 FairSAM을 제안합니다. 이는 인스턴스 재가중치와 배치별 섭동을 활용하여 강건성과 공정성을 동시에 증진합니다.
실증적 검증: 다양한 실제 데이터셋(CelebA, FairFace, LFW, CheXpert)과 다양한 오염 유형(눈, 가우시안 노이즈, 블러) 및 심각도 수준에 대해 실험을 수행하여 FairSAM이 베이스라인 대비 우수한 정확도와 공정성 간의 트레이드오프를 달성함을 입증했습니다.

실험 결과

저자들은 여러 실제 데이터셋(CelebA, FairFace, LFW, CheXpert)을 다양한 오염 유형(눈, 가우시ian 노이즈, 블러) 및 심각도 수준에서 평가했습니다.

성능 vs. 공정성 트레이드오프: 불균형 데이터(CelebA)와 균형 데이터(FairFace) 모두에서, FairSAM은 Vanilla SAM, GroupSAM, FairReg, GroupDRO를 포함한 모든 베이스라인보다 일관되게 **가장 낮은 오염된 저하 격차 ( $\Delta p$ )**를 달elle 성취했습니다.
정확도 보존: 일부 공정성 방법들이 전체 정확도를 희생하는 것과 달리, FairSAM은 경쟁력 있거나 더 우수한 오염 정확도를 유지했습니다. 예를 들어, 가우시안 노이즈가 있는 CelebA 데이터셋에서 FairSAM은 가장 높은 오염 정확도(0.9291)를 달성하는 동시에 $\Delta p$ 를 최소화(0.0073)했습니다.
비대칭성에 대한 강건성: 특권 그룹이 불리 그룹보다 덜 심각한 노이즈를 겪는 실험(비대칭 노이즈)에서도, FairSAM은 다양한 백본(ResNet-18 및 DINOv3)에 걸쳐 가장 낮은 저하 격차를 유지했습니다.
분포 외(OOD) 일반화: 한 데이터셋(예: CelebA)으로 학습된 모델을 다른 데이터셋(예: LFW)으로 테스트했을 때, FairSAM은 GroupSAM보다 낮은 $\Delta p$ 를 보여주었습니다. 이는 GroupSAM이 우위 그룹을 불리한 위치로 옮길 위험이 있는 반면, FairSAM은 더 나은 공평한 일반화를 보여줌을 나타냅니다.
하이퍼파라미터 민감도: 프레임워크는 하이퍼파라미터 선택에 대해 강건한 것으로 나타났으며, $\rho=0.05$ (섭동 반경)와 $c=1$ (그룹 가중치 예산)이 최적의 균형을 제공했습니다.

의의 및 주장

본 논문은 FairSAM이 데이터 오염이 존재하는 상황에서 공정하고 강건한 이미지 분류를 위한 구조화된 솔루션을 제공한다고 주장합니다. 이 연구의 주요 의의는 강건성 연구의 결정적인 사각지대, 즉 "전반적인 강건성 향상이 모든 그룹에 동등한 혜택을 줄 것"이라는 가정을 다룬 데 있습니다.

저자들은 다음과 같이 주장합니다:

강건성과 공정성은 서로 연결되어 있습니다. 강건한 모델은 종종 인구 통계적 그룹 간에 불균등한 성능 저하를 보일 수 있으며, 이를 해결하지 않으면 사회적 불평등을 지속시킬 수 있습니다.
훈련 중 공정성 인식 최적화를 수행하면 전체 정확도의 상당한 희생 없이도 공평한 결과를 얻을 수 있습니다.
이러한 접근 방식의 이점은 불균형 데이터셋을 넘어 균형 잡힌 데이터셋에도 적용되며, 이는 성능 격차가 단순히 데이터 분포의 문제가 아니라 알고리즘의 편향에 의해 발생함을 시사합니다.

이 연구는 시스템이 실제 노이즈가 있는 환경에서도 공정성을 유지해야 하는 고위험 애플리케이션(예: 의료, 형사 사법)에서 안전한 AI 배포를 향한 단계로 자리매김합니다. 저자들은 현재 이미지 분류에서의 이진 민감 속위에 초점을 맞추고 있다는 한계를 인정하며, 향후 연구에서 교차적(intersectional) 그룹 및 다른 도메인을 탐구해야 한다고 제언합니다.