The Pragmatic Frames of Spurious Correlations in Machine Learning: Interpreting How and Why They Matter

기술적 요약: 기계학습에서 허위 상관관계의 실용적 프레임

문제 제기
기계학습 (ML) 은 데이터로부터 상관관계를 학습하여 예측을 수행합니다. 그러나 모델들은 종종 "허위 상관관계 (spurious correlations)"를 포착하는데, 이는 훈련 데이터에서 통계적으로 존재하지만 대상 현상의 근본적인 인과 메커니즘을 반영하지 않는 관계들입니다. 허위성 (spuriousness) 에 대한 통계적 정의는 명확합니다 (우연이나 교란 요인에서 비롯된 비인과적 관계). 하지만 ML 문헌은 이러한 공식적 정의와 연구자들이 실제로 문제를 식별하고 해결하는 방식 사이의 괴리를 보여줍니다.

표준 ML 파이프라인은 종종 인과관계와 상관관계를 구별할 능력이 부족합니다. 따라서 모델이 의도치 않은 상관관계로 인해 실패할 때 (예: 동물 특징이 아닌 잔디 배경을 기반으로 소를 분류하는 경우), 연구자들은 해당 상관관계가 왜 문제적인지 결정해야 합니다. 본 논문은 연구자들이 허위 상관관계를 규정하기 위해 공식적 인과 정의에 거의 의존하지 않는다고 주장합니다. 대신 그들은 엄격한 인과 추론보다는 기술적 성능, 작업 정렬, 또는 윤리적 결과를 우선시하는 대안적 렌즈를 통해 "의미 부여 (sense-making)"를 수행합니다.

방법론
저자들은 ML 연구에서 허위성이 어떻게 프레임화되고 정당화되는지 식별하기 위해 2 단계 비판적 문헌 분석을 수행했습니다.

1. 데이터 수집: Semantic Scholar API 를 사용하여 ML, NLP, 컴퓨터 비전 분야 (프리프린트, 학술지 논문, 컨퍼런스 논문 포함) 의 "허위 상관관계 (spurious correlation)", "허위 특징 (spurious feature)", 또는 "단순화 (shortcut)"라는 용어를 포함하는 713 편의 논문을 추출했습니다.
2. 샘플링 및 코딩:
   • 1 단계: 200 편의 논문을 무작위 추출하여 수동 스크리닝을 수행한 결과 49 편의 관련 논문이 도출되었습니다. 참고문헌 검토를 통해 16 편의 추가 고영향 논문이 포함되어 초기 분석 샘플인 65 편의 논문을 구성했습니다. 두 저자가 독립적으로 이러한 논문을 코딩하여 상관관계를 허위성으로 규정하는 반복적 근거를 추출했습니다.
   • 2 단계: 확립된 코딩 프레임워크를 관련성과 품질을 필터링한 나머지 513 편의 논문에 적용하여 222 편의 추가 논문을 도출했습니다.
3. 최종 샘플: 분석은 총 287 편의 논문으로 구성된 샘플에서 마무리되었습니다. 저자들은 허위성을 해석하는 데 사용되는 네 가지 지배적인 "실용적 프레임 (pragmatic frames)"을 식별했으며, 논문들이 종종 여러 프레임을 동시에 인용한다는 점을 지적했습니다.

주요 기여: 네 가지 실용적 프레임
본 논문은 상관관계의 바람직함이 고정된 통계적 속성이 아니라 "실용적 프레임"에 의해 informing 된 상황적 판단이라고 주장합니다. 이러한 프레임은 고정된 정의보다는 기능과 규범적 목표에 기반하여 문제의 측면을 분리하고 해석하는 연구자들의 특정 시각 방식을 나타냅니다. 식별된 네 가지 프레임은 다음과 같습니다:

1. 관련성 (Relevance):

   • 정의: 훈련 데이터에서 예측력이 있더라도 특정 학습 작업과 관련이 없으면 상관관계는 허위입니다.
   • 근거: 연구자들은 모델이 배경색이나 질감 같은 우연적 인공물 (artifacts) 이 아닌 대상 라벨과 본질적으로 관련된 특징 (예: 물체의 모양) 을 활용하기를 기대합니다.
   • 비판: "관련성"은 데이터의 고유한 속성보다는 데이터셋의 제약과 연구자의 의도 (예: 단일 레이블 이미지 분류에서 배경이 무관하다고 가정) 에 의해 종종 정의됩니다.

2. 일반화 가능성 (Generalizability):

   • 정의: 훈련 데이터에서 테스트 데이터로 이동하거나 "분포 외 (out-of-distribution, OOD)" 변화 하에서 유지되지 않으면 상관관계는 허위입니다.
   • 근거: 모델은 환경 불변의 안정적인 관계를 학습해야 합니다. "환경 특정적"이거나 일반화되지 않는 "오해의 소지가 있는 휴리스틱"에 의존하는 상관관계는 허위로 간주됩니다.
   • 비판: 연구자들은 모델이 어떤 분포로 일반화되어야 하는지 거의 명시하지 않습니다. "스트레스 테스트"나 "자연적 분포 변화"의 정의는 연구자의 기대와 대표성 있는 테스트 세트 구축의 실제 능력에 달려 있습니다.

3. 인간 유사성 (Human-likeness):

   • 정의: 동일한 작업을 수행하는 데 인간이 사용하지 않는 의사결정 규칙이나 특징에 의존하면 상관관계는 허위입니다.
   • 근거: 이 프레임은 "인간과 유사한" 기능이 황금 표준이라고 가정합니다. 예를 들어, 인간이 모양으로 물체를 인식하지만 모델이 질감에 의존한다면 모델의 상관관계는 허위로 간주됩니다.
   • 비판: 이 프레임은 인간 인지에 대한 보편적이고 안정적인 설명을 전제하는데, 이는 인간 지각의 문화적 및 인구통계학적 변이에 대한 증거에 의해 도전받고 있습니다. 또한, 인간 성능을 능가하거나 인간 편향을 피하기 위해 다르게 작동하는 시스템을 구축하려는 목표와 충돌할 수 있습니다.

4. 유해성 (Harmfulness):

   • 정의: 사용 시 보호 그룹에 대한 편향을 증폭하는 등 사회적으로 또는 윤리적으로 해로운 결과를 초래하면 상관관계는 허위입니다.
   • 근거: 상관관계가 통계적으로 안정적이고 예측력이 있더라도 사회적 고정관념 (예: "CEO"를 남성과 연관 짓는 것) 을 인코딩하거나 소수 그룹의 성능 격차를 초래한다면 바람직하지 않다고 간주됩니다.
   • 비판: "해악"을 결정하는 것은 세계가 어떻게 있어야 하는지에 대한 규범적 판단과 어떻게 있는지에 대한 판단을 요구합니다. (예: 간호사 직군에서의 성별 분포) 와 같은 안정적인 사실을 반영하는 상관관계라도 고정관념을 강화한다면 허위로 규정될 수 있으며, 이는 이 프레임이 데이터 속성보다는 윤리적 목표에 의해 주도됨을 보여줍니다.

결과 및 발견

• 보편성: 분석된 287 편의 논문 중 일반화 가능성이 가장 빈번하게 인용된 프레임 (44%) 이었으며, 이어 관련성 (36%), 유해성 (28%), 인간 유사성 (18%) 순이었습니다.
• 운영화: 연구는 연구자들이 허위성을 공식적 인과 이론을 사용하여 정의하기보다는 이러한 실용적 프레임을 솔루션 개발 (예: 강건성 기술, 공정성 제약) 의 동기로 사용한다는 사실을 발견했습니다.
• 우연성: 상관관계를 "단순화 (shortcut)"로 분류하는 것은 연구자의 의도, 특정 작업, 그리고 프로젝트의 규범적 목표에 크게 의존합니다. 한 맥락 (예: 물체 인식에서의 배경색) 에서 "단순화"로 간주되는 것이 다른 맥락에서는 유효한 특징일 수 있습니다.

의의 및 주장
본 논문은 "허위성"과 같은 기술적 개념이 정적 정의가 아닌 우연적 관행을 통해 정의되고 운영됨을 보여줌으로써 기계학습의 인식적 문화에 대한 더 넓은 논의에 기여한다고 주장합니다.

• 인식적 전환: 저자들은 연구자들이 실용적 프레임에 의존함으로써 허위성을 데이터의 정적 속성에서 데이터와 연구자 기대 사이의 동적 관계로 변환한다고 주장합니다.
• 규범적 함의: 어떤 프레임을 우선시할지 선택하는 것 (예: 인간 유사성보다 관련성을 우선시하는 것) 은 상충 관계를 수반하는 가치 기반 결정입니다. 본 논문은 ML 커뮤니티가 종종 "허위성"이라는 용어를 기술적 약어로 사용함으로써 이러한 규범적 선택을 모호하게 만든다고 제안합니다.
• 향후 방향: 저자들은 이러한 프레임을 인정하는 것이 ML 방법 개선의 자원이 될 수 있다고 제안합니다. 이러한 판단의 실용적 본질을 무시하기보다는, 향후 연구는 연구자들이 중요하게 여기는 특정 프레임 (예: 특정 분포 변화를 위한 설계 또는 명시적 유해 감소) 을 명시적으로 다루는 벤치마크와 방법을 개발할 수 있습니다.
• 겸손함: 저자들은 그들의 유형론이 포괄적이지 않으며, ML 연구가 다중 모달 및 에이전트 기반 영역으로 진화함에 따라 새로운 프레임이 등장할 수 있다고 명시적으로 밝힙니다. 그들은 자신의 목표가 상관관계 기반 ML 의 한계를 질문하기 위한 이론적 렌즈를 제공하는 것이지, 결정적인 인과적 해결책을 제공하는 것이 아님을 강조합니다.