When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

기술적 요약: 올바른 시연이 해가 될 때: 인-컨텍스트 학습에서 예시들의 역할 재고

문제 제기
인-컨텍스트 학습 (ICL) 은 매개변수를 업데이트하지 않고 소량의 입력 - 출력 시연에 조건을 부여함으로써 대규모 언어 모델 (LLM) 이 새로운 작업에 적응할 수 있게 합니다. 지배적인 직관은 시연이 목표 작업 매핑의 올바른 예시를 제공하므로 유익하다고 여깁니다. 그러나 본 연구는 역설적인 현상을 규명합니다: 시연의 정확성이 시연의 유용성을 보장하지는 않는다. 저자들은 시연이 작업 정의 하에서 개별적으로 유효할지라도 (즉, 입력 - 출력 쌍이 작업 매핑을 만족할지라도) 문맥적 증거로 사용될 때 ICL 성능을 저하시킬 수 있음을 입증합니다. 이 "정확성 - 유용성 간극"은 모델이 개별 쌍으로부터 매핑을 단순히 학습하는 것이 아니라, 제공된 모든 시연의 혼합체로부터 잠재적 작업, 입력 체계, 그리고 결정 규칙을 추론하기 때문에 발생합니다.

방법론: 작업 보존 교란
정확성과 유용성 사이의 구분을 분리하기 위해 저자들은 작업 보존 교란을 도입합니다. 이 프레임워크는 작업 정의, 프롬프트 형식, 그리고 시연 순서를 엄격하게 유지하면서 인-컨텍스트 시연의 입력 측면을 수정합니다. 핵심적으로, 모든 교란된 시연은 동일한 작업 매핑 $g_T$에 의해 유도된 목표와 짝을 이루어, 시연이 고립 상태에서 "올바른" 상태로 유지되도록 합니다.

이 프레임워크는 두 가지 체제를 포괄합니다:

1. 레이블 업데이트 교란: 작업 관련 의미론이 변경되고 작업 매핑에 따라 목표가 재계산됩니다 (예: 긍정적 감정 문장을 부정적으로 변경하고 레이블을 업데이트함).
2. 엄격한 목표 보존 교란: 원래 목표는 유효하게 유지되지만, 입력은 방해 요소 포함이나 재배열을 위해 수정됩니다 (예: 수학 문제에 관련 없는 수치적 사실을 추가하거나 논리적 추론에서 주의를 분산시키는 전제를 삽입함).

저자들은 교란 비율 $\rho$를 이러한 작업 보존 변형으로 대체된 시연의 비율로 정의합니다. 그리고 결과적인 실패 모드를 문맥적 증거 이동으로 공식화합니다: 교란은 모델이 추론에 사용하는 유효한 증거의 혼합체를 변경하여, 근본적인 작업 매핑이 변하지 않음에도 불구하고 모델이 추론하는 결정 문맥을 이동시킵니다.

주요 기여

1. 정확성 - 유용성 간극의 규명: 본 논문은 시연이 정확성 조건 ($y_i = g_T(x_i)$) 을 만족하면서도 더 넓은 문맥과의 상호작용으로 인해 부정적인 유용성 (깨끗한 쿼리에 대한 위험 증가) 을 가질 수 있음을 확립합니다.
2. 방법론적 프레임워크: 통제된 개입으로서의 작업 보존 교란 도입. 이전의 적대적 연구들이 레이블이나 작업 의미론을 변경한 것과 달리, 이 방법은 작업 매핑을 보존하여 입력 분포 이동이 ICL 에 미치는 영향을 구체적으로 테스트합니다.
3. 이론적 공식화: 문맥적 증거 이동 개념을 공식화하여, 교란이 문맥적 추론에 사용되는 유효한 증거 혼합체 ($m_\theta$) 를 어떻게 변경하는지 보여주며, 이로써 명목상의 교란 비율과 모델이 교란된 증거에 부여하는 유효 가중치를 분리합니다.

실험 결과
저자들은 세 가지 도메인 (감정 분류 (SST-2), 논리적 추론 (ProverQA), 수학 단어 문제 (PROBLEMATHIC)) 에서 오픈 가중치 지시 미세 조정 모델 (Llama-2, Llama-3.1, Qwen2.5/3.5, Gemma-4) 을 평가했습니다.

• 성능 저하: 모든 작업에서 교란 비율 $\rho$를 증가시키면 ICL 성능이 크게 저하되었습니다. 일부 경우 (작은 모델로 SST-2 수행 시) 성능은 제로샷 기준선 이하로 떨어졌습니다.
• 모델 규모 민감도: 저하는 규모에 강하게 의존했습니다. 작은 모델 (예: 7B–14B) 은 상당한 취약성을 보인 반면, 큰 모델 (예: 70B 이상) 은 상대적으로 안정적이었습니다. 예를 들어, SST-2 에서 Llama-2-7B 의 정확도는 100% 교란 시 96.4% 에서 56.9% 로 떨어졌지만, Llama-3.1-70B 는 100% 근처를 유지했습니다.
• 작업 난이도: 더 어려운 작업 (예: 복잡한 논리적 추론 또는 수학 문제) 은 특히 작은 모델의 경우 교란에 더 큰 민감도를 보였습니다.
• 위치적 효과: 쿼리 근처에 배치된 교란 (꼬리 교란) 은 강한 최근성 민감도를 보인 작은 모델에 비례적으로 해로웠습니다. 주의도 맵 분석은 큰 모델이 초기의 깨끗한 시연으로 주의를 재할당하여 증거 이동을 완화하는 데 더 능숙함을 보여주었습니다.
• 통제 실험: 시연을 작업과 무관한 사실적 진술로 대체하는 것은 경미한 저하만 초래하여, 해가 발생하는 원인은 일반적인 프롬프트 교란이나 작업 인식 실패가 아니라 작업 유효하지만 분포적으로 이동된 증거임을 확인했습니다.

의의 및 주장
본 논문은 견고한 ICL 을 위해서는 시연이 올바른지 여부를 평가할 뿐만 아니라 그들이 문맥적 추론에 어떻게 영향을 미치는지를 평가해야 한다고 주장합니다. 저자들은 시연 집단의 효과성이 개별 예시의 품질뿐만 아니라 그 글로벌 구성과 결과적인 증거 혼합체에 달려 있다고 주장합니다.

이 연구는 시연의 "정확성"은 지역적 속성인 반면 "유용성"은 문맥 의존적이라고 결론지었습니다. 따라서 정확성이나 유사성만을 기준으로 시연을 선택하는 표준 ICL 파이프라인은 실수로 해로운 문맥적 증거를 도입할 수 있습니다. 저자들은 이 작업을 완전한 기계적 설명이 아닌 설명적 추상화 (문맥적 증거 이동) 로 위치시키며, 텍스트 전용 ICL 과 통제된 교란에 대한 초점과 같은 한계를 지적합니다. 그들은 향후 연구가 정확성만이 아닌 유용성에 따라 시연을 선택하거나 가중치를 부여하는 방어 메커니즘을 탐구해야 한다고 제안합니다.