In-Context Examples Suppress Scientific Knowledge Recall in LLMs

"LLM 에서 문맥 내 예시는 과학적 지식 회상을 억제한다"는 논문의 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 과학적 추론에 적용된 대규모 언어 모델 (LLM) 에서 발견된 반직관적인 현상을 조사합니다: 문맥 내 학습 (ICL) 은 모델의 사전 훈련된 과학적 지식을 강화하는 대신 억제할 수 있습니다.

ICL 은 예시를 제공함으로써 성능을 향상시키는 데 널리 사용되지만, 저자들은 잠재 구조 회복(데이터에서 숨겨진 매개변수를 추론한 후 도메인 법칙을 적용하는 작업) 이 필요한 작업의 경우, 예시를 추가하면 모델의 추론 전략이 전환된다고 가정합니다. 모델은 사전 훈련된 가중치에서 올바른 과학적 공식을 검색하고 적용하는 지식 기반 유도 (Knowledge-Driven Derivation) 대신, 패턴 인식을 통해 입력 - 출력 매핑을 근사하는 예시 기반 피팅 (Example-Driven Fitting) 으로 전환합니다.

중요하게도, 이 억제 현상은 문맥 내 예시가 모델이 이미 알고 있는 정확히 동일한 과학적 공식으로 생성된 경우에도 발생합니다. 즉, 예시와 모델의 기존 지식 사이에 충돌이 없음에도 불구하고 발생합니다.

2. 방법론

벤치마크 구축

저자들은 5 개의 과학 도메인에 걸친 60 개의 잠재 구조 회복 작업으로 구성된 난이도 균형 벤치마크를 구축했습니다:

• 도메인: 생물학, 화학, 경제학, 물리학, 지구과학 (도메인당 12 개 작업).
• 작업 구조: 각 작업은 $X \to \Theta \to Y$라는 특정 아키텍처를 따릅니다.
  • $X$(관측 가능 변수): 모델에 제공된 원시 데이터.
  • $\Theta$(잠재 변수): 도메인 법칙을 사용하여 추론해야 하는 숨겨진 매개변수 (예: 반응 상수, 탄성 계수).
  • $Y$(목표): 추론된 매개변수를 사용하여 계산해야 하는 최종 물리량.
• 복잡성: 특정 방정식 유형의 산물이 아닌 발견을 보장하기 위해 관측 가능 변수의 수, 잠재 변수의 수, 방정식 형식 (선형, 비선형, 분수형 등) 이 다양한 작업들이 포함됩니다.

실험 설정

• 모델: 실험은 GPT-5.2(주요), Claude Sonnet 4.6, Llama 4 Maverick, DeepSeek V3.2 등 네 가지 모델에서 수행되었습니다.
• 조건:
  • Zero-Shot: 모델은 예시 없이 체인 오브 씽킹 (CoT) 추론만 사용하여 작업을 해결합니다.
  • 10-Shot: 모델은 테스트 케이스와 동일한 기본 공식으로 생성된 10 개의 입력 - 출력 쌍을 제공받습니다 (중간 유도 과정은 제공되지 않음).
• 전략 분류: 인간 주석가들의 98% 동의율로 검증된 자동 분류기는 모델의 CoT 궤적을 세 가지 모드로 분류합니다:
  1. 매개변수 기반 ($S_{know}$): 이름이 있는 공식을 검색하고 대수적으로 답을 유도합니다.
  2. 경험적 ($S_{emp}$): 도메인 법칙을 호출하지 않고 예시에 패턴을 피팅합니다.
  3. 하이브리드: 공식을 사용하지만 예시를 기반으로 계수를 보정합니다.

추가 분석

• 의미적 속임수 (Semantic Decoy): 도메인별 어휘 (예: "소비자 잉여" $\to$ "감마 라드") 를 대체하여 지식 회상이 표면적 단서에 의존하는지 테스트합니다.
• 내부 표현: 오픈 소스 모델 (Qwen, Mistral, Llama) 의 숨겨진 상태를 분석하여 표현 공간의 전환을 관찰합니다.
• 개입: 전이 현상을 완화할 수 있는지 확인하기 위해 구조적 프롬프팅 기법 (예: 공식 명시적 선언 강제, 피팅에 대한 부정적 프롬프팅) 을 테스트합니다.

3. 주요 기여

1. 지식 전위의 발견: 저자들은 일관된 문맥 내 예시를 추가하는 것이 모든 도메인에서 지식 기반 유도 ($S_{know}$) 에서 예시 기반 피팅 ($S_{emp}$) 으로 계산을 일관되게 전환시킨다는 것을 입증했습니다.
2. 전략 경쟁 프레임워크: 정확도 효과가 왜 변하는지 설명하는 프레임워크를 제안합니다. 전환은 균일하지만, 그 결과는 전위된 전략 (사전 훈련된 지식) 과 대체 전략 (경험적 피팅) 간의 품질 격차에 따라 달라집니다.
3. 종합적 벤치마크: 과학적 추론과 패턴 피팅 간의 경쟁을 관찰 가능하게 하도록 특별히 설계된 60 개 작업의 새로운 벤치마크로, 다양한 구조적 복잡성을 포괄합니다.

4. 주요 결과

A. 균일한 전략 전환, 분기된 정확도

10 개의 예시를 추가한 결과, 모든 도메인에서 매개변수 기반 ($S_{know}$) 궤적의 비율이 6~20% 포인트 감소했습니다. 그러나 최종 정확도에 미치는 영향은 크게 달랐습니다:

• 경제학: 정확도가 크게 하락 (−15.7% 포인트) 했습니다. 여기서 $S_{know}$가 우월한 전략이었습니다 (88.3% 정확도). 경험적 피팅 (41.7% 정확도) 으로 전환되면서 막대한 성능 손실이 발생했습니다.
• 지구과학: 정확도가 개선된 것처럼 보였습니다 (+13.3% 포인트). 여기서 $S_{know}$는 약했습니다 (49.2% 정확도). 모델은 종종 올바른 공식을 회상했지만 잘못된 기본 매개변수를 사용했기 때문입니다. 경험적 피팅으로 전환되면서 모델이 예시에서 올바르게 보간할 수 있게 되어 과학적 추론의 손실이 가려졌습니다.
• 물리학 및 생물학: 정확도는 상대적으로 평탄하게 유지되었습니다. 물리학에서는 전환이 작았고, 생물학에서는 경험적 전략이 우연히 매개변수 기반 전략과 유사한 성능을 보였습니다.

결론: 모델은 지식이 틀린 곳에서만 선택적으로 지식을 포기하는 것이 아닙니다. 새로운 전략이 더 좋든 나쁘든 상관없이 모든 곳에서 지식을 포기합니다.

B. 메커니즘: 어휘에 의한 회상 유발

의미적 속임수 실험은 $S_{know}$가 심층적인 수학적 분석이 아닌 표면적 어휘(도메인 키워드) 에 의해 유발된다는 것을 드러냈습니다.

• 도메인 용어가 가명으로 대체되었을 때, Zero-Shot 정확도는 붕괴되었습니다 (3~14%).
• 그러나 10-Shot 성능은 부분적으로 회복되었습니다 (22~40%). 이는 $S_{emp}$가 어휘와 무관한 수치 패턴으로 작동함을 증명합니다.
• 시사점: 수치 예시의 존재만으로도 경험적 경로가 활성화되어 어휘에 의해 유발된 지식 경로를 대체합니다.

C. 내부 표현 수렴

숨겨진 상태에 대한 분석은 10-Shot 조건 하에서 서로 다른 도메인의 표현 공간이 수렴함을 보여주었습니다.

• Zero-Shot 에서는 도메인들이 서로 다른 영역을 차지하여 (특정 도메인 회로를 활성화) 구분되었습니다.
• 10-Shot 에서는 도메인들이 서로 가까워졌으며, 특히 가장 강력한 전환을 보인 지구과학이 두드러졌습니다. 이는 예시가 존재할 때 모델이 도메인 중립적인 패턴 피팅 회로로 전환함을 시사합니다.

D. 완화의 실패

표준 프롬프팅 개입 (예: 공식 명시적 명명, 피팅에 대한 부정적 프롬프팅) 은 전위 현상을 보편적으로 방지하는 데 실패했습니다. 사전 훈련된 지식이 최적의 전략이었던 경우 (경제학), 예시의 존재로 인해 손실된 성능을 회복하기 위해 일관된 예시를 아무리 많이 제공해도 소용이 없었습니다.

5. 중요성 및 시사점

• 실무자를 위한 경고: 이 논문은 과학적 응용 분야에서 문맥 내 예시를 제공하는 것이 오히려 지원하려는 지식을 전위시킬 수 있다고 경고합니다. 엔드 투 엔드 정확도에만 의존하는 것은 위험합니다. 이는 과학적 추론의 손실을 가릴 수 있기 때문입니다 (예: 지구과학에서 모델은 잘못된 이유로 정답을 얻었습니다).
• LLM 내 과학적 추론의 본질: 이 연구는 LLM 의 과학적 추론이 종종 추론 기반(수학적 유도) 이 아니라 인식 기반(키워드 유발) 임을 시사합니다. 이는 취약하며 패턴 매칭이라는 계산적 단축키에 의해 쉽게 대체됩니다.
• 광범위한 단축 학습: 이 현상은 모델이 가장 원칙적인 방법 (법칙에서 유도) 보다 계산적으로 가장 쉬운 사용 가능한 전략 (예시 피팅) 을 기본으로 선택하는 "단축 학습 (shortcut learning)"의 사례로 규정됩니다. 이는 단축이 최적이지 않음에도 불구하고 발생합니다.
• 향후 방향: 저자들은 이 경쟁을 담당하는 특정 회로를 식별하기 위한 기계적 연구 (예: 활성화 패칭) 와 "지식 기반"과 "예시 기반" 성공을 구별할 수 있는 새로운 평가 지표를 요구합니다.