🤖 AI

When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness

본 논문은 6개의 벤치마크와 4개의 모델을 대상으로 한 비교 연구를 통해 자연어 설명이 일반적으로 인컨텍스트 학습 성능을 향상시키지만, 그 효과는 설명의 출처(외부 LLM이 종종 인간의 근거와 대등한 수준을 보임)와 선택 전략에 따라 크게 달라지며, 특히 충실도 기반 필터링이 일관되지 않은 결과를 낳고 서로 다른 충실도 지표가 상충하는 결론으로 이어질 수 있음을 밝히고 있다.

원저자: Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서는 컴퓨터가 무엇을 말하는가뿐만 아니라, 왜 그렇게 말하는지를 이해하려는 욕구가 커지고 있습니다. 거대 언어 모델이 질문에 답할 때, 종종 인간이 문제를 풀어나가는 과정처럼 보이는 텍스트 문자열을 생성하곤 합니다. 이러한 텍스트 문자열을 자연어 설명이라고 부릅니다. 이것은 두 가지 목적을 수행합니다. 하나는 기계의 논리를 보여줌으로써 인간이 기계를 신뢰하도록 돕는 것이고, 다른 하나는 실제로 기계가 더 잘 생각하도록 도울 수 있다는 점입니다. 이 두 번째 효과를 인컨텍스트 러닝(in-context learning)이라고 합니다. 컴퓨터에게 새로운 퍼즐을 풀어보라고 요청한다고 상상해 보십시오. 만약 유사한 퍼즐의 예시 몇 개와 정답을 함께 제공한다면, 컴퓨터는 재학습 없이도 새로운 퍼즐을 풀어낼 수 있는 경우가 많습니다. 이것이 바로 인컨텍스트 러닝입니다. 이제 그 예시들에 정답에 도달하기 위해 '어떻게' 그 답이 나왔는지 설명하는 몇 문장을 추가한다고 상상해 보십시오. 그 추가된 설명이 컴퓨터를 더 똑똑하게 만들까요, 아니면 그저 노이즈를 더하는 것일까요? 이것이 바로 더 유능하고 신뢰할 수 있는 AI 시스템을 구축하려는 연구자들이 답을 찾고자 하는 핵심 질문입니다.

뮌헨, 런던 및 독일 전역의 대학 출신 연구진으로 구성된 한 팀은 정확히 이것을 테스트하기 위해 나섰습니다. 그들은 AI에게 주어진 예시에 설명을 추가하는 것이 실제로 AI의 성능을 향상시키는지, 만약 그렇다면 그 설명이 어디에서 나와야 하는지를 알고 싶었습니다. 그들은 다양한 크기의 네 가지 AI 모델을 사용하여 상식 질문부터 비꼬는 말투(sarcasm) 탐지, 복잡한 수학 문장제 문제 해결에 이르기까지 여섯 가지 유형의 서로 다른 추론 과제를 테스트했습니다. 연구진은 이 설명들의 세 가지 주요 출처를 비교했습니다: 인간이 작성한 설명, 문제를 풀려고 시도하는 AI 자체가 생성한 설명, 그리고 조력자 역할을 하는 별도의 강력한 AI 모델이 생성한 설명입니다. 또한 그들은 설명의 품질이 중요한지, 특히 설명이 모델이 답에 도한 단계와 실제로 일치하는지를 측정하는 척도인 '충실도(faithfulness)'를 중점적으로 살펴보았습니다.

결과는 실제 적용 시 무엇이 가장 효과적인지에 대한 명확한 그림을 제시했습니다. 문장이 비꼬는 것인지 결정하거나 두 문장 사이의 관계를 파악하는 것과 같은 분류 작업의 경우, 예시에 설명을 추가하는 것은 대개 AI의 성능을 향상시키는 데 도움이 되었습니다. 그러나 설명의 출처가 매우 중요했습니다. 별도의 강력한 AI 모델이 생성한 설명은 종종 가장 큰 정확도 향상을 제공했으며, 인간이 작성한 설명만큼 혹은 때로는 그보다 더 좋은 성능을 보였습니다. 이는 인간이 작성한 설명은 제작 비용이 많이 들고 시간이 오래 걸리는 반면, AI가 생성한 설명은 즉각적으로 만들어질 수 있다는 점에서 중요한 발견입니다. 반면, 문제를 해결하는 과정에서 AI 스스로 생성한 설명은 성패가 극명하게 갈렸습니다. 이러한 설명은 때때로 도움이 되기도 했지만, 외부 출처에서 온 설명보다 신뢰도가 낮은 경우가 많았습니다.

연구진은 또한 스스로 생성한 설명 중에서 모델의 추론 과정을 진정으로 반영하는 '충실한' 것들만을 걸러내는 전략이 결과를 개선할 수 있는지 조사했습니다. 그들은 이 전략이 평균적으로 작은 이득만을 가져오며 매우 일관성이 없다는 것을 발견했습니다. 때로는 가장 충실한 설명을 선택하는 것이 도움이 되었지만, 다른 경우에는 모델의 성능을 떨어뜨리기도 했습니다. 결과는 충실도를 측정하는 데 사용된 특정 수학적 테스트, 모델이 수행하는 특정 과제, 그리고 모델의 크기에 따라 크게 달라졌습니다. 이는 모든 상황에 적용되는 단 하나의 완벽한 설명 품질 판단 기준은 존재하지 않음을 시사합니다. 또한, 연구팀은 설명을 서로 다른 예시 간에 교체하거나 완전히 다른 주제의 설명을 사용하여 시스템의 견고함을 테스트했습니다. 모델들이 이러한 맞지 않는 설명을 받았을 때 완전히 무너지지는 않았지만, 성능은 하락했습니다. 이는 설명이 진정으로 도움이 되기 위해서는 특정 예시와 의미론적으로 정렬되어야 함을 나타냅니다.

수학적 추론과 같은 더 복잡한 과제로 넘어가면 역학 관계가 변합니다. 여기서 설명을 추가하는 것의 이점은 일관성이 떨어졌으며, 특정 모델과 설명의 출처에 크게 의존했습니다. 가장 큰 모델들의 경우, 스스로 단계별로 생각하도록 요청하는 표준 방식이 여전히 매우 강력했습니다. 그러나 더 작은 모델들의 경우, 고품질의 외부 설명은 작은 모델이 스스로 생성할 수 없는 가이드 역할을 하여 성능을 실질적으로 끌어올릴 수 있었습니다. 이 연구는 설명을 프롬프트에 추가하는 것이 강력한 도구이긴 하지만, 마법의 해결책은 아니라는 결론을 내립니다. 최선의 접근 방식은 과제와 가용 자원에 따라 달라집니다. 많은 실무적인 응용 분야에서, 별도의 유능한 AI가 생성한 설명을 사용하는 것은 성능을 향상시키는 신뢰할 수 있고 비용 효율적인 방법이 되는 반면, 모델이 자신의 추론을 스스로 설명하도록 만드는 것은 신중한 선택이 필요하며 결과가 덜 예측 가능하다는 것을 보여줍니다.

기술 요약: 언제 설명이 인컨텍스트 학습(In-Context Learning)에 도움이 되는가?

문제 정의

자연어 설명(NLE) 또는 자유 형식의 추론(free-text rationales)은 인컨텍스트 학습(ICL)에서 대규모 언어 모델(LLM)의 행동에 영향을 미치기 위한 입력값으로 점점 더 많이 활용되고 있습니다. NLE는 모델의 성능과 해석 가능성을 개선하기 위해 널리 사용되지만, 다양한 NLE의 출처(인간 주석, 자기 생성, 또는 다른 LLM에 의해 외부에서 생성된 것)가 예측 효용성 측면에서 어떻게 비교되는지는 여전히 불분명합니다. 또한, 설명의 품질—특히 충실도(faithfulness)(설명이 모델의 결정 과정을 얼마나 정확하게 반영하는지 여부)—와 의미적 불일치(관련 없거나 분포 외(OOD)인 추론)에 대한 ICL의 강건성(robustness)은 아직 충분히 탐구되지 않았습니다. 이러한 체계적인 증거의 부재는 실무자들이 설명 증강 프롬프팅 파이프라인의 정확도-비용 트레이드오프를 판단할 때 정보에 입각한 결정을 내리는 데 어려움을 줍니다.

방법론

저자들은 6개의 다양한 추론 벤치마크(ECQA, e-SNLI, SNARKS, Boolean Expressions, Causal Judgment, GSM8K)와 다양한 크기의 4가지 인스트럭션 튜닝 모델(GPT-4o-mini, Llama-3.1-8B, Llama-3.3-70B, Mistral-7B)을 대상으로 NLE의 예측 효용성을 평가하는 포괄적인 비교 연구를 제시합니다.

실험 프레임워크는 네 가지 주요 단계로 구성됩니다:

퓨샷 샘플 선택 (Few-shot Sample Selection): 본 연구는 오류 기반 선택 전략을 채택하여, 타겟 모델이 제로샷 설정에서 오분류한 $n=6$ 개의 샘플을 선택합니다. 이 샘플들은 교정 신호 역할을 합니다.
NLE 생성 (NLE Generation): 선택된 샘플에 대해 세 가지 출처의 설명을 생성합니다:
- Human-NLEs: 기존의 설명 가능한 데이터셋으로부터 추출된 추론(사용 가능한 경우).
- Self-NLEs: 타겟 모델 자체가 사후 연쇄 사고(post-hoc Chain-of-Thought, Ph-CoT) 방식을 사용하여 생성한 것. 결정적으로, 오분류된 샘플의 경우, 다른 출처와의 공정한 비교를 보장하기 위해 골드 라벨(gold label)을 조건으로 하여 자기 설명을 재생성합니다.
- LLM-NLEs: 올바른 입-출력 쌍에 대한 추론을 제공하도록 프롬프트된 외부 설명 모델(GPT-4o-mini 또는 o3-mini)에 의해 생성된 것.
NLE 선택 전략 (NLE Selection Strategies): 설명 품질에 따라 예시를 선택하는 것이 성능에 미치는 영향을 테스트합니다:
- 무작위 선택 (Random Selection): 품질 평가 없이 수행되는 베이스라인 선택.
- 최고 충실도 선택 (Most-Faithful Selection): 두 가지 자동화된 충실도 지표( $f_{m1}$ 은 LExT 프레임워크 기반, $f_{m2}$ 는 자기 일관성 기반)를 기준으로 가장 높은 점수를 받은 self-NLE를 선택.
- 최저 충실도 선택 (Lowest-Faithful Selection): 역관계(inverse relationship)를 테스트하기 위해 가장 낮은 점수를 받은 self-NLE를 선택.
- 불일치 스트레스 테스트 (Misalignment Stress Tests): 추론이 무작위로 섞이거나(인도메인 불일치), 완전히 다른 데이터셋의 추론으로 교체되는(분포 외/OOD) 두 가지 절제 실험 설정을 통해 강건성을 테스트함.
평가 (Evaluation): 성능은 다운스트림 작업 정확도를 통해 측정되며, 설명 증강 프롬프트를 제로샷(Zero-Shot), 표준 퓨샷(Standard Few-Shot, 추론 제외), 제로샷 연쇄 사고(Zero-Shot CoT) 베이스라인과 비교합니다.

주요 기여

포괄적 비교 연구: 여러 모델과 추론 작업에 걸쳐 인간, 자기 생성, 외부 LLM 생성 NLE를 비교하는 최초의 대규모 평가를 수행했습니다.
모듈형 평가 프레임워크: 오류 기반 샘플 선택, 설명 품질 점수화(충실도), 프롬프트 구성을 통합하여 NLE 출처와 선택 전략의 영향을 격리하여 분석할 수 있는 재현 가능한 프레임워크를 제공합니다.
충실도 지표 분석: 서로 다른 두 충실도 지표( $f_{m1}$ 및 $f_{m2}$ )가 어떻게 일치하거나 불일치하는지, 그리고 이러한 불일치가 예시 선택 및 후속 모델 성능에 어떤 영향을 미치는지에 대한 상세한 조사를 수행했습니다.
강건성 스트레스 테스트: 무작위 및 OOD 추론 스왑을 도입하여 의미적 불일치에 대한 ICL의 민감도를 정량화했습니다.

결과 및 분석

1. NLE 출처 및 예측 효용성 (RQ1)

분류 작업 (Classification Tasks): 분류 스타일의 벤치마크(ECQA, e-SNLI, SNARKS, Boolean, Causal Judgment)에서 퓨샷 프롬프트에 NLE를 추가하면 일반적으로 표준 퓨샷 프롬프팅보다 정확도가 향 향상됩니다.
출처 비교: 외부에서 생성된 LLM-NLE(GPT-4o-mini 또는 o3-mini)는 일관되게 가장 강력하고 안정적인 다운스트림 효용성을 제공하며, 사용 가능한 경우 인간이 주석을 단 추론과 대등하거나 이를 능가하기도 합니다. 자기 생성된 NLE(Self-NLEs)는 변동성이 더 크며 일반적으로 외부 출처보다 뒤처지지만, 특정 설정에서는 경쟁력이 있을 수 있습니다.
수학적 추론 (GSM8K): NLE의 이점은 모델과 출처에 더 의존적입니다. 수학 분야에서는 연쇄 사고(CoT)가 여전히 강력한 베이스라인이지만, LLM 생성 NLE가 일반적으로 self-NLE보다 우수한 성능을 보이며, 그 격차는 모델 크기에 따라 크게 달라집전다.

2. 충실도 및 선택 (RQ2)

지표 간 불일치: 두 가지 충실도 지표( $f_{m1}$ 및 $f_{m2}$ )는 상당한 불일치(평균 불일치율 약 50%)를 보이며, 이는 두 지표가 충실도의 서로 다른 운영적 측면을 포착하고 있음을 나타냅나다. 이러한 불일치는 어떤 self-NLE가 선택되는지와 그 결과로 나타나는 효용성에 직접적인 영향을 미칩니다.
충실도 기반 선택의 효용성: 측정된 충실도에 따라 self-NLE를 선택하는 것은 전반적으로 작은 평균 이득을 가져오지만, 특정 지표, 작업 및 모델에 매우 민감합니다.
- GSM8K의 경우, $f_{m1}$ 기반 선택은 Llama-70B의 성능을 크게 향상시켰으나 Mistral-7B의 성능은 저하시켰습니다.
- $f_{m2}$ 기반 선택은 무작위 선택과 비교했을 때 성능을 향상시키기도 하고 감소시키기도 하는 등 엇갈린 결과를 보였습니다.
결론: 충실도 기반 선택은 보편적으로 신뢰할 수 있는 필터가 아닙니다. 그 효과는 선택된 지표와 특정 모델-작업 조합에 크게 의존합니다.

3. 불일치에 대한 강건성 (RQ3)

부분적 강건성: 모델은 불일치된 추론에 대해 부분적인 강건성을 보입니다. 무작위로 섞인 인도메인 추론과 OOD 추론은 일반적으로 충실한 선택에 비해 성능을 저하시키지만, 모델이 완전히 붕괴되지는 않습니다.
의미적 정렬의 중요성: OOD 추론(예: 수학 문제에 비꼬는 말투의 설명을 쌍으로 배치)을 사용할 때 관찰되는 성능 저하는 추론과 예시 사이의 의미적 정렬이 성능 향상의 핵심 요소임을 확인시켜 줍니다. 인도메인 내에서의 무작위 스왑은 혼합된 효과를 보이는데, 이는 불일치된 인도메인 추론조차도 일부 작업 관련 단서를 제공할 수 있음을 시사합니다.

의의 및 실무적 시사점

본 논문은 NLE 출처, 선택 전략, 그리고 충실도 지표가 설명 증강 ICL의 핵심적인 설계 요소라고 결론짓습니다.

실무 가이드: 실무자들에게 외부에서 생성된 LLM-NLE는 값비싼 인간 주석을 대체할 수 있는 실용적이고 효용성이 높은 대안을 제공합니다. 특히 분류 작업에서 유용하며, 복잡한 충실도 점수화 단계를 거치지 않고도 안정적인 성능을 제공합니다.
자기 설명 (Self-Explanations): 자기 생성된 설명은 비용 효율적이지만, 그 효용성은 덜 신뢰할 수 있으며 선택 전략에 매우 민감합니다. self-NLE의 충실도 기반 필터링은 지표 선택에 따라 상반된 결과가 나올 수 있으므로 주의해서 접근해야 합니다.
정렬 (Alignment): 본 연구는 의미적 정렬이 필수적임을 강조합니다. 정렬되지 않은 추론(심지어 동일한 데이터셋에서 가져온 것이라도)을 사용하는 것은 설명 증강 프롬프팅의 이점을 상쇄할 수 있습니다.
모델 크기: 소규모 모델(SLM)은 더 많은 추론 패턴을 내재화하고 외부 스캐폴딩에 덜 의존하는 대규모 모델(LLM)에 비해 고품질 외부 설명으로부터 더 뚜렷한 성능 향상을 보입니다.

전반적으로, 이 연구는 설명이 모델의 행동을 형성할 수 있지만, 그 효용성은 추론의 출처, 품질 및 정렬 상태에 달려 있다는 점을 밝히며, 프롬프팅 파이프라인에서 설명을 선택하고 보고하는 데 대한 경험적 근거를 제공합니다.