Perturbation Sensitivity at Convergence: A Simple Signal for Identifying Spuriously Correlated Samples

당신이 로봇에게 사진 속 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 초원에서 풀을 뜯고 있는 소의 사진 수천 장과 사막을 걷고 있는 낙타의 사진 수천 장을 보여줍니다. 로봇은 매우 빠르게 배우지만, 동시에 매우 효율적이기도 합니다. 로봇은 소가 '어떻게 생겼는지'(뿔의 모양이나 털의 질감 등)를 배우는 대신, 하나의 지름길을 포착합니다. "초록색 풀이 있으면 소다. 모래가 있으면 낙타다." 이것은 "가짜 상관관계(spurious correlation)"입니다. 대부분의 경우 작동하지만, 실제 규칙은 아닌 데이터의 속임수입니다. 이 때문에 로봇이 해변에 서 있는 소의 사진을 보면, 풀이 없다는 이유로 "그건 낙타야!"라고 말하며 혼란에 빠지게 됩니다. 로봇이 동물이 아니라 배경을 암기했기 때문입니다. 과학자들은 이를 "평균 정확도"(쉽고 전형적인 사진에서의 성능)와 "최악의 그룹 정확도"(까다롭고 드문 사진에서의 성능) 사이의 격차라고 부릅니다. 이 분야의 목표는 로봇이 단순히 지름길을 암기하는 것이 아니라 실제로 과업을 이해하게 하여, 세상이 조금 이상해지더라도 실패하지 않도록 만드는 것입니다.

효율적인 학생과 취약한 기억력

이 논문은 교사의 라벨링 없이도 "까다로운" 사진을 찾아내는 영리하고 새로운 방법을 소개합니다. 보통 이 문제를 해결하려면 연구자들이 로봇이 잘못된 지름길을 암기하는 현장을 포착하기 위해 학습 도중에 관찰해야 합니다. 이는 마치 학생이 시험을 치르는 첫 몇 분 동안 그들이 지름길을 쓰는지 감시하려는 것과 같습니다. 하지만 언제 관찰해야 할지 예측하기 어렵고, 종종 어떤 학생이 지름길을 쓰는지 알려주는 선생님이 필요하게 되는데, 이는 목적 자체를 무색하게 만듭니다.

이 논문의 저자는 다른 아이디어를 제안합니다. 시험이 끝날 때까지 기다리는 것입니다. 저자들은 로봇이 학습을 마치고 "수렴"(공부를 다 마치고 모든 사진에 대해 최종적인 답을 낸 상태)했을 때, 효율적인 지름길과 실제 학습은 매우 다르게 나타난다는 것을 발견했습니다.

이렇게 생각해 보세요:

• 지름길 학습자 (가짜 상관관계): 이들은 "풀 = 소"라는 규칙을 암기한 학생들입니다. 이들은 거의 모든 사람에게 적용되는 단순하고 견고한 규칙을 가지고 있습니다. 사진 속의 풀을 약간 흐리게 처리하더라도, 이들은 여전히 "소"라고 말할 것입니다. 왜냐하면 그들의 규칙은 강력하고 학급 전체가 공유하는 것이기 때문입니다.
• 암기자 (비-SC 샘플): 이들은 몇몇 까다로운 사진(예: 모래 위의 소)을 위해 특정하고 기이한 세부 사항을 통째로 외워버린 학생들입니다. 이들은 일반적인 규칙을 배운 것이 아니라, 단지 그 특정 사진이 소처럼 보인다는 것을 외운 것입니다. 이들의 기억은 취약합니다. 만약 그 특정 사진을 흐리게 만들면, 이들은 당황하며 답을 바꿉니다.

이 논문의 주요 발견은 학습이 완전히 끝난 후 이미지에 "고정된 섭동(fixed perturbation)"—즉, 부드러운 블러(blur) 처리—을 적용함으로써 이 취약성을 테스트할 수 있다는 것입니다. 만약 모델이 동물의 정체에 대해 생각을 바꾼다면, 그것은 모델이 규칙을 이해한 것이 아니라 단지 그 특정 이미지를 암기했다는 뜻입니다. 만약 모델이 답을 유지한다면, 그것은 신뢰할 수 있고 공유된 규칙을 사용하고 있었다는 뜻입니다.

그들이 발견한 것

연구진은 물새(Waterbirds) 데이터셋을 통해 이를 테스트했습니다. 이 데이터셋에는 육지 위의 새와 물 위의 새 사진이 포함되어 있습니다. 이 데이터셋에서 "지름길"은 실제 새의 종류를 무시하고, 물 위의 모든 새는 한 종류이고 육지의 모든 새는 다른 종류라고 가정하는 것입니다.

모델이 학습을 마친 후 이 "블러 테스트"를 수행했을 때 다음과 같은 결과가 나타났습니다:

• 모델은 까다로운 "소수 샘의(minority samples)"(규칙에 맞지 않는 새들)에서 실제로 취약함을 보였습니다. "물 위의 육지 새"의 약 **70.7%**와 "육지의 물새"의 약 **69.6%**가 블러 처리를 했을 때 답을 바꿨습니다.
• 반면, 모델은 "다수 샘플(majority samples)"(흔한 새들)에 대해서는 매우 안정적이었습니다. "육지의 육지 새"는 7.3%, "물 위의 물새"는 **3.5%**만이 생각을 바꿨습니다.

이 차이는 엄청났습니다. "블러 테스트"는 연구자들이 컴퓨터에게 어떤 것이 무엇인지 알려주지 않았음에도 불구하고, 쉬운 샘플보다 까다로운 샘플을 약 10배 더 자주 식별해 냈습니다.

로봇을 고치기

이러한 취약한 샘플들을 식별한 후, 연구진은 로봇을 다시 학습시켰습니다. 하지만 이번에는 까다로운 샘플들에 더 많은 주의를 기울였습니다. 그들은 특별한 라벨이나 가이드 역할을 하는 선생님 없이도, 블러 테스트 결과를 사용하여 "의사 그룹(pseudo-groups)"을 만들어 냈습니다.

결과는 인상적이었습니다:

• 이 수정 작업을 하기 전, 최악의 그룹(까다로운 새들)에 대한 로봇의 정확도는 **57.3%**에 불비했습니다.
• 이들의 방식을 사용하여 학습의 균형을 맞춘 후, 그 정확도는 **80.8%**로 뛰어올랐습니다.
• 비교하자면, 만약 완벽한 인간의 라벨을 사용하여 동일한 작업을 수행했다면 정확도는 **85.8%**였을 것입니다.

저자는 자신의 방법이 완벽하지는 않다고 언급했습니다. 이 방법은 쉬운 샘플 중 일부를 까다로운 것으로 잘못 분류하기도 했지만(정밀도 약 36.6%), 이는 괜찮습니다. 까다로운 샘플을 놓치는 것보다 쉬운 샘플에 실수로 주의를 더 기울이는 것이 낫기 때문입니다. 논문은 모델이 작은 블러 처리 후에 생각을 바꾸는지 확인하는 이 간단한 신호가, 학습을 일찍 중단하거나 별도의 그룹 라벨을 사용하지 않고도 어떤 샘플에 도움이 필요한지를 찾아내는 데 놀라울 정도로 효과적이라는 점을 시사합니다.

저자는 이것이 하나의 데이터셋에 기반한 "예비적" 발견임을 주의 깊게 밝히고 있습니다. 그들은 아직 모든 가능한 블러 크기나 다른 모든 데이터셋을 테스트하지 않았지만, 학습이 끝난 후 모델의 기억을 살짝 흔들어 보는 것만으로도 오류를 찾는 데 효과적인 단순한 사후(post-training) 신호가 존재한다는 것을 보여주었습니다. 이는 때때로 실수를 찾는 가장 좋은 방법은 학생이 공부하는 것을 지켜보는 것이 아니라, 시험이 끝난 후 그들의 기억을 부드럽게 흔들어 보는 것임을 상기시켜 줍니다.