🤖 machine learning

Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making

이 논문은 부분 집합 기반의 기여도 제약을 통해 사전 지식(prior)에서 벗어난 증거에 대한 의존에 페널티를 부여함으로써 모델을 인간의 사전 지식과 정렬하는 학습 방법을 제안하며, 이를 통해 이미지 분류 및 GUI 에이전트 작업에서 작업 정확도와 결정의 합리성을 모두 향상시킨다.

원저자: Ruoyu Chen, Shangquan Sun, Xiaoqing Guo, Sanyi Zhang, Kangwei Liu, Shiming Liu, Zhangcheng Wang, Qunli Zhang, Wei Wang, Hua Zhang, Xiaochun Cao

게시일 2026-07-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruoyu Chen, Shangquan Sun, Xiaoqing Guo, Sanyi Zhang, Kangwei Liu, Shiming Liu, Zhangcheng Wang, Qunli Zhang, Wei Wang, Hua Zhang, Xiaochun Cao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

탐정의 딜레마: 왜 '옳다'는 것만으로는 충분하지 않은가

당신이 로봇에게 고양이를 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 백만 장의 고양이 사진을 보여줍니다. 결국 로봇은 푹신한 형체를 볼 때마다 "야옹!"이라고 말하는 데 아주 능숙해집니다. 하지만 여기 함정이 있습니다. 로봇은 실제로 고양이의 수염이나 귀를 보고 있는 것이 아닙니다. 대신, 로봇은 교활한 지름길을 학습했습니다. 당신이 제공한 모든 훈련 사진 속의 고양이들이 특정 브랜드의 빨간 양단 위에 앉아 있었다는 사실을 알아챈 것입니다. 그래서 로봇은 고양이는 완전히 무시하고 그냥 빨간 양단을 찾습니다. 만약 당신이 파란 소파 위에 있는 고양이를 보여준다면, 로봇은 혼란에 빠질 것입니다. 반대로 고양이가 없는 빨간 양단만을 보여준다면, 로봇은 여전히 "야옹!"이라고 외칠지도 모릅니다.

이것은 인공지능, 특히 머신러닝이라는 분야에서 흔히 발생하는 문제입니다. 과학자들은 결정을 내리기 위해 이러한 "모델"을 구축하지만, 모델들은 종-종 실제 결정의 이유(고양이)를 이해하기보다 쉬운 패턴(빨간 양단 같은)을 찾아내어 속임수를 씁니다. 이것은 위험합니다. 왜냐하면 로봇이 자동차를 운전하거나 화면의 버튼을 클릭해야 한다면, 단순히 운 좋게 맞춘 결과가 아니라 왜 그런 행동을 하는지 알아야 하기 때문입니다. 이를 해결하기 위해 연구자들은 "휴먼 프라이어(human priors)"를 사용합니다. 이는 "인간이 무엇이 중요하다고 생각하는가"를 뜻하는 멋진 표현입니다. 만약 인간이 고양이를 가리키며 "여기를 봐"라고 말한다면, 로봇도 그곳을 보도록 배워야 합니다. 하지만 로봇이 인간의 의견에 동의하게 만드는 것은 까다로운데, 로봇의 뇌는 우리와 매우 다르게 작동하기 때문입니다.

논문의 핵심 아이디어: "배우지 말아야 할 곳에서는 배우지 마라"

"Where Not to Learn(배우지 말아야 할 곳)"이라는 제목의 이 논문은 로봇이 속임수를 쓰는 문제를 영리하고 선택적인 훈련 방법을 통해 해결합니다. 저자들은 로봇에게 오직 올바른 곳만 보라고 강요하는 대신(이는 너무 엄격하여 로봇을 혼란스럽게 할 수 있습니다), 잘못된 곳을 볼 때 벌칙을 주는 방식을 제안합니다.

이것은 마치 선생님이 학생의 에세이를 채점하는 것과 같습니다. 만약 학생이 엉뚱한 주제에 대해 훌륭한 문단을 썼다면, 선생님은 에세이 전체를 지워버리지 않습니다. 대신, 선생님은 틀린 부분에 커다란 빨간 원을 치고 "이 부분은 여기에 어울리지 않아"라고 말합니다. 그러면 학생은 자신의 에너지를 올바른 주제에 집중하는 법을 배웁니다. 저자들은 이를 "프라이어 정렬 훈련(Prior-Aligned Training)"이라고 부릅니다. 그들은 "서브셋 선택 속성(subset-selection attribution)"이라는 특별한 도구를 사용하여 선생님의 돋보기 역할을 하게 합니다. 이 도구는 로봇이 결정을 내리는 데 사용하는 아주 작은 이미지 조각이나 화면의 부분이 정확히 무엇인지 파악하도록 도와줍니다.

마법이 일어나는 과정은 다음과 같습니다:

돋보기: 이 도구는 로봇의 결정을 살펴보고 그것이 사용한 상위 몇 개의 "단서"를 강조합니다.
검사: 시스템은 이 단서들을 "휴먼 프라이어"(인간이 중요하다고 말한 영역, 예: 버튼 주위의 경계 상자)와 비교합니다.
부드러운 유도: 만약 로봇의 상위 단서가 인간의 박스 안에 있다면, 시스템은 "잘했어!"라고 말하고 넘어갑니다. 하지만 로봇의 상위 단서가 박스 밖에 있다면(예: 고양이 대신 빨간 양단을 보고 있다면), 시스템은 벌칙을 적용합니다. 시스템은 로봇에게 "그 단서에 의존하지 마"라고 말합니다.

이 논문은 한 번에 모든 비인간 영역을 억제하거나 침묵시키려 했던 기존 방식에 대해 명시적으로 반대합니다. 저자들은 이러한 "강한 억제(hard suppression)"가 너무 투박하다고 주장합니다. 이는 마치 학생에게 정답지 이외의 어떤 것도 생각하지 말라고 말하는 것과 같으며, 이는 종종 학생이 문제를 해결하는 방법 자체를 잊어버리게 만듭니다. 대신, 그들의 방법은 "선택적"입니다. 시스템은 로봇의 가장 중요한 증거가 틀렸을 때만 개입합니다. 만약 로봇이 이미 올바른 곳을 보고 있다면, 시스템은 그대로 두어 다른 부분들이 자유롭게 기여할 수 있게 합니다.

연구 결과: 더 똑똑한 로봇, 더 나은 결정

연구진은 이 아이디어를 두 가지 매우 다른 환경에서 테스트했습니다:

이미지 분류: 컴퓨터가 사진 속의 물체(예: 배나 동물)를 식별하도록 가르치는 것.
GUI 에이전트: AI가 컴퓨터 화면에서 버튼을 클릭하도록 가르치는 것(예: 가상 비서가 알람을 설정하는 것).

두 경우 모두 결과는 유망했습니다. "선택적 벌칙" 방법을 사용했을 때, 모델들은 단순히 규칙을 더 잘 따를 뿐만 아니라, 주요 작업 자체에서도 더 나은 성능을 보였습니다.

ImageNet-S 데이터셋(특정 물체 마스크가 포함된 이미지 모음)에서, 그들의 방법은 ViT 모델의 정확도를 4.95 포인트, ResNet-101 모델의 정확도를 1.74 포인트 향상시켰습니다.
더 중요한 점은, 결정의 "합리성"이 개선되었다는 것입니다. 그들은 AI가 올-바른 물체를 보고 있는지 확인하는 "포인트 게임(Point Game)"을 사용하여 이를 측정했습니다. Saliency-Bench 데이터셋에서, 그들의 방법은 ViT 모델의 포인트 게임 점수를 0.4363에서 0.5463으로 끌어올렸습니다.

논문은 AI가 "올바른" 증거에 의존하도록 강제함으로써 모델이 더 견고해진다고 주장합니다. 노이즈가 섞인 지저-분한 이미지(사진에 무작위 정적을 추가함)로 모델을 테스트했을 때, 이 방법으로 훈련된 모델들은 표준 모델보다 더 잘 버텼습니다. 이는 AI가 "치트 코드"(빨간 양단 같은)를 배우지 못하게 함으로써, 상황이 지저분해지더라도 작동하는 안정적이고 의미 있는 특징에 의존하게 된다는 것을 암시합니다.

저자들은 또한 엔진을 분해하여 어떤 부품이 어떤 역할을 하는지 살펴보는 "절제 연구(ablation studies)"를 수행했습니다. 그들은 "편차 손실(Deviation Loss, 잘못된 곳을 보는 것에 대한 벌칙)"이 정확도와 합리성 모두를 이끄는 핵심 동력임을 발견했습니다. "중복 손실(Redundancy Loss, 여러 개의 잘못된 단서에 과도하게 의존하는 것을 막는 것)"은 "합리성" 점수에 약간 더 도움을 주었지만, 정확도에는 큰 변화를 주지 못했습니다.

요약하자면, 이 논문은 AI의 모든 생각을 미세하게 관리할 필요가 없음을 보여줍니다. 그저 AI가 잘못된 방향을 보고 있을 때 잡아내어 부드럽게 다시 유도하기만 하면 됩니다. 이러한 접근 방식은 AI가 결정을 내리는 '이유'에 대해 더 정직하게 만들 뿐만 아니라, 실제 세상에서 더 정확하고 신뢰할 수 있게 만듭니다. 저자들은 이 방법이 단순한 이미지 분류기부터 버튼을 클릭하고 명령을 따르는 복잡한 "에이전트"에 이르기까지 다양한 유형의 AI에 걸쳐 작동한다고 결론지으며, 똑똑하면서도 상식적인 AI를 향한 길을 제시합니다.

기술 요약: "학습하지 말아야 할 곳: 신뢰할 수 있는 의사결정을 위한 부분 집합 기반 속성 제약을 이용한 사전 지식 정렬 학습"

문제 정의

신뢰할 수 있는 머신러닝 모델은 단순히 정확하게 예측하는 것을 넘어, 수용 가능하고 작업 관련성이 있는 증거에 기반하여 결정을 내려야 합니다. 그러나 기존의 지도 학습은 오직 클래스 수준의 레이블에만 의존하기 때문에, 모델이 의도된 인과적 증거가 아닌 "지름길 상관관계(shortcut correlations)"(예: 배경 질감 또는 가짜 특징)를 악용하도록 허용합니다. 인간의 사전 지식(예: 바운딩 박스, 타겟 인터페이스 요소 또는 희소 클릭)은 이론적으로 이러한 행동을 제약할 수 있지만, 모델의 결정 증거를 이러한 사전 지식과 정렬하는 것은 여전히 어려운 과제입니다. 기존 방법론들은 다음과 같은 이유로 실패하는 경우가 많습니다:

충실도 격차(Faithfulness Gap): 사후 속성 방법(예: Grad-CAM, LIME)에 의존하는데, 이는 실제 결정 증거를 정확하게 반영하지 못할 수 있습니다.
과잉 규제(Over-regularization): 모든 비-사전 영역에 대해 하드하고 균일한 억제를 강제함으로써, 서로 다른 영역이 의사결정에 기여하는 불균등한 정도를 무시하고 잠재적으로 유효한 학습 신호까지 저해할 수 있습니다.

방법론

저자들은 모델의 행동을 가이드하기 위해 **부분 집합 선택 기반 속성(subset-selection-based attribution)**을 학습 시 신호로 사용하는 선택적 사전 제약 학습 프레임워크를 제안합니다.

1. 속성 메커니즘:
이 방법은 그래디언트 기반이나 어텐션 기반 설명을 사용하는 대신, 부분 집합 선택 기반 속성(이미지 분류를 위한 LIMA 및 MLLM 기반 GUI 에이전트를 위한 EAGLE)을 채택합니다. 이 접근법은 집합 함수 $F(\cdot)$ 를 최대화하는 입력 영역의 조밀한 결정 지원 부분 집합을 반복적으로 선택하여 영향력 순으로 순위를 매김으로써 식별합니다. 이 방법은 결정적인 예측을 이끄는 실제 증거를 식별하는 데 있어 더 높은 충실도를 제공하기 때문에 선택되었습니다.

2. 선택적 정렬 원칙:
핵심 혁신은 비대칭 정렬 전략입니다. 모델이 항상 인간의 사전 지식과 일치하도록 강요하지 않습니다. 대신, 모델의 가장 돌출된(most salient) 속성 증거가 인간의 사전 영역에서 벗어날 때만 제약이 적용됩니다.

만약 최상위 속성 증거가 인간의 사전 영역과 겹친다면, 다른 영역이 자유롭게 기여할 수 있도록 페널티를 부과하지 않습니다.
만약 최상위 속성 증거가 사전 영역 외부에 있다면, 모델이 "사전 외(off-prior)" 단서에 의존하는 것에 대해 페널티를 받습니다.

3. 손실 함수:
학습 목적 함수는 표준 작업 손실( $L_{task}$ )과 두 가지 특정 정렬 손실(정확히 예측했을 때만 간헐적으로 적용됨)을 결합합니다:

편차 손실( $L_{deviation}$ ): 최상위 순위 속성 영역( $v_{\pi1}$ )의 효용 점수가 인간의 사전 지식 $H$ 와의 공간적 중첩도가 임계값 $\tau$ 미만일 경우 페널티를 부여합니다. 이는 가장 영향력 있는 사전 외 증거에 대한 의존을 억제합니다.
중복 손실( $L_{redundancy}$ ): 고차 속성 영역(순위 $r \geq 2$ )을 규제합니다. 만약 이 영역들이 사전 영역 외부에 있다면, 이들의 한계 이득( $\Delta_{i,r}$ )은 ReLU를 통해 억제됩니다. 이는 여러 의도하지 않은 영역으로부터 가짜 증거가 축적되는 것을 방지합니다.

4. 학습 절차:
알고리즘은 표준 작업 감독과 증거 수준의 정렬을 교대로 수행합니다. 정렬 손실은 계산 오버헤드를 줄이고 초기 학습 단계에서의 과잉 제약을 방지하기 위해, 정기적인 간격(예: 이미지 분류의 경우 10 스텝마다, GUI 에이전트의 경우 5 스텝마다)으로 정확하게 예측된 샘플에 대해서만 계산됩니다.

주요 기여

학습을 위한 충실한 속성: 부분 집합 선택 기반 속성(LIMA/EAGLE)이 기존의 그래디언트 또는 활성화 기반 설명보다 인간의 사전 지식 정렬을 위한 더 신뢰할 수 있는 학습 신호를 제공함을 입증했습니다.
선택적 사전 제약 목적 함수: 최상위 속성 증거가 인간의 사전 지식에서 벗어날 때만 개입하는 새로운 손실 공식을 통해, 비-사전 영역에 대한 하드하고 균일한 억제의 문제점을 피했습니다.
교차 작업 검증: 본 프레임워크는 두 가지 서로 다른 설정에서 검증되었습니다:
- 판별적 분류(Discriminative Classification): ImageNet-S 및 Saliency-Bench에서의 이미지 분류.
- 자기회귀적 의사결정(Autoregressive Decision-Making): MLLM 기반 GUI 에이전트의 클릭 결정.

실험 결과

본 방법론은 RRR(그래디언트 억제), XIL(특징 수준의 Grad-CAM 억제), MEGL(Grad-CAM 정렬)을 포함한 베이스라인들과 비교 평가되었습니다.

이미지 분류:
- 정확도(Accuracy): 본 방법은 다양한 백본(CLIP, ViT, ResNet)에서 Top-1 정확도를 일관되게 향상시켰습니다. 예를 들어, Saliency-Bench의 ViT 모델에서 정확도는 파인튜닝 시 0.5150에서 0.5694로 상승했습니다.
- 결정 합리성(Decision Rationality): 타겟 객체에 대한 주의 집중도를 평가하는 Point Game을 통해 측정되었으며, 본 방법은 유의미한 이득을 보였습니다. Saliency-Bench의 ViT 모델에서 Point Game 점수는 0.4363에서 0.5463으로 개선되었습니다.
- 조건부 신뢰성(Conditional Reliability): 성공적인 Point Game 결과(즉, 모델이 올바른 객체에 주의를 기울이는 경우)를 조건으로 했을 때, 본 방법은 상당한 정확도 향상을 보였습니다(예: ImageNet-S의 CLIP은 0.7093에서 0.8377로 개선됨). 이는 올바른 증거가 더 신뢰할 수 있는 예측으로 이어진다는 것을 나타냅니다.
- 강건성(Robustness): 본 방법은 가우시안 노이즈에 대해 표준 파인튜닝보다 우수한 강건성을 보여주었습니다.
GUI 에이전트 작업:
- 클릭 결정을 위한 MLLM 기반 에이전트(AgentCPM-GUI)에 적용되었습니다. 이 방법은 모델의 "사고"(추론 과정)와 실행된 결정 사이의 일관성을 개선하여, 작업 성능을 저하시키지 않으면서 결정 합리성을 높였습니다.

의의 및 주장

본 논문은 충실한 속성 신호를 사용하여 결정 증거를 제약하는 것이 모델을 더 해석 가능할 뿐만 아니라 더 강건하고 효과적으로 만든다고 주장합니다. 모델이 "무엇을" 예측하는지에서 "어디를" 보는지로 초점을 전환함으로써, 이 방법은 지름길 학습(shortcut learning)의 근본 원인을 해결합니다. 저자들은 자신들의 접근 방식이 새로운 설명 정렬 패러다임을 제안하는 것이 아니라, 인과적 합리성과 결정 신뢰성을 향상시키기 위해 고충실도 속성을 활용하는 실용적이고 선택적인 정렬 전략을 구현한 것임을 강조합니다. 결과는 이러한 제약 조건으로 학습된 모델이 안전이 중요한 환경이나 상호작용 환경에서 예측 불가능하게 실패할 가능성이 낮음을 시사합니다.