상상해 보세요. 여러분은 유명한 요리사 (AI 모델) 에게 **"이 재료를 섞으면 맛있는 스프가 될까?"**라고 물어봅니다. 이때 요리사가 정답을 맞히기 위해 어떤 정보를 주는 것이 가장 좋은지 실험한 것이 이 논문입니다.
1. 실험의 세 가지 상황
연구진은 AI 에게 다음과 같은 세 가지 방식으로 정보를 주며 테스트했습니다.
상황 A: 레시피 제목만 보기 (Hypothesis Only)
"물 한 잔 더 마시면 혈압이 내려갈까?"라는 질문만 던집니다.
AI 는 자신의 두뇌에 저장된 일반적인 지식 (내부 지식) 만으로 추측합니다.
상황 B: 요리 과정 설명만 보기 (Experiments Only)
"사람 100 명을 모아서 물을 더 마시게 하고, 3 개월 뒤 혈압을 재는 실험을 했다"는 과정만 보여줍니다. (결과는 알려주지 않음)
마치 "이런 식으로 요리했다"는 설명만 듣고 "맛있을까?"를 예측하는 것과 같습니다.
상황 C: 요리 결과만 보기 (Outcomes Only)
"실험 결과, 혈압이 실제로 떨어졌다"는 결과만 보여줍니다. (어떻게 했는지는 알려주지 않음)
마치 "결국 맛있는 스프가 나왔다"는 결과만 듣고 예측하는 것입니다.
상황 D: 과정과 결과 모두 보기 (Both)
과정과 결과를 모두 보여줍니다.
2. 놀라운 발견: "결과"가 더 중요했다!
많은 사람이 "과학이니까 실험 과정 (레시피) 이 중요하지 않겠지?"라고 생각할 수 있습니다. 하지만 AI 의 반응은 달랐습니다.
📉 과정만 알려주면 망한다: AI 에게 실험 과정만 보여줬을 때, 오히려 정답을 맞추는 능력이 떨어졌습니다. 마치 요리사에게 "이런 식으로 재료를 섞었다"는 설명만 듣고 맛을 예측하라고 했을 때, AI 가 "아마도 맛없겠지?"라고 잘못 추측하거나 혼란을 겪은 것입니다.
✅ 결과만 알려주면 잘한다: 반면, 실험 결과만 보여줬을 때 AI 는 훨씬 정확하게 판단했습니다. "결국 혈압이 떨어졌다"는 결론을 듣는 것이 AI 에게는 훨씬 명확한 단서가 된 것입니다.
🤔 다 보여줘도 무조건 좋은 건 아니다: 과정과 결과를 모두 보여줬을 때, 결과만 보여준 경우보다 더 잘한 것도, 나쁜 경우도 있었습니다. 정보가 너무 많으면 오히려 AI 가 헷갈려서 실수를 하기도 했습니다.
3. 가장 위험한 상황: "반만 보여주기"
연구진은 실험 내용을 50% 만 보여줬을 때 (절반만 잘라낸 레시피) 어떤 일이 벌어지는지 확인했습니다.
🚨 예상치 못한 함정: 정보가 아예 없는 경우보다, 정보의 일부만 잘못 전달될 때 AI 가 가장 많이 틀렸습니다.
비유: 요리사에게 "소금 1 큰술 넣었다"는 말만 하고 "설탕 10 큰술도 넣었다"는 말은 안 해줬다면? 요리사는 "아, 소금만 넣었으니 짤 거야"라고 착각하고 완전히 엉뚱한 맛을 예측할 수 있습니다.
핵심: AI 는 정보가 부족할 때 "모르겠다"고 말하기보다, 주어진 일부 정보에 집착해서 무리하게 결론을 내리는 경향이 있습니다.
💡 이 연구가 우리에게 주는 교훈
AI 는 과학자처럼 깊게 생각하지 않는다: AI 는 실험의 복잡한 과정 (왜 이렇게 했는지) 보다는 **명확한 결론 (결과)**에 더 의존합니다.
정보는 많을수록 좋은 게 아니다: 과학적 판단을 AI 에게 맡길 때, 과정과 결과를 다 보여준다고 해서 무조건 정확해지지 않습니다. 오히려 정보가 불완전하면 AI 가 더 큰 착각을 할 수 있습니다.
신중한 사용이 필요하다: AI 가 과학적 사실을 검증할 때, "결과"를 명확히 전달하는 것이 중요하며, 정보가 잘려 있거나 불완전한 상태에서는 AI 의 판단을 맹신하면 안 된다는 경고입니다.
한 줄 요약:
"AI 에게 과학적 주장을 판단하게 할 때, **실험 과정 (레시피 설명)**보다는 **결과 (맛있는지 여부)**를 보여주는 것이 더 정확하며, 정보를 반만 주면 오히려 AI 가 더 큰 실수를 할 수 있다."
1. 문제 정의 (Problem Definition)
이 논문은 과학적 타당성 평가 (Scientific Feasibility Assessment) 를 대규모 언어 모델 (LLM) 이 수행할 수 있는지에 대한 근본적인 질문을 던집니다.
핵심 과제: 주어진 가설 (Hypothesis) 이 기존 지식과 일치하는지, 그리고 이를 지지하거나 반증할 수 있는 구체적인 실험 증거가 존재하는지 판단하는 것입니다.
현재의 한계: 기존 연구들은 주로 가설 생성에 집중하거나, 내부 지식과 검색된 정보를 혼합하여 어떤 정보가 결정에 기여하는지 분리하지 못했습니다. 또한, 불완전한 증거 하에서 LLM 이 얼마나 견고한 (Robust) 판단을 내리는지에 대한 분석이 부족합니다.
연구 질문 (RQs):
LLM 은 외부 증거 없이 파라메트릭 지식 (내부 지식) 만으로 타당성을 평가할 수 있는가?
실험 설계 (Experiments) 와 실험 결과 (Outcomes) 를 명시적으로 제공할 때, 타당성 판단은 어떻게 변하는가?
실험 정보가 불완전할 때 (일부만 제공됨), 모델의 판단은 얼마나 견고한가?
2. 방법론 (Methodology)
저자들은 과학적 타당성 평가를 통제된 지식 환경 (Controlled Knowledge Framework) 하에서의 진단적 추론 작업으로 정의하고 다음과 같은 실험 설계를 수행했습니다.
A. 통제된 지식 프레임워크 (Controlled Knowledge Framework)
모델은 가설 (h) 과 선택적 맥락 (x) 을 입력받아 '타당 (FEASIBLE)' 또는 '비타당 (INFEASIBLE)' 라벨과 그 근거를 출력합니다. 맥락은 네 가지 조건으로 통제됩니다:
H (Hypothesis-only): 외부 증거 없음 (내부 지식만 의존).
H+E (Hypothesis + Experiments): 실험 설계 설명만 제공 (결과 없음).
H+O (Hypothesis + Outcomes): 실험 결과 요약만 제공 (설계 과정 없음).
H+E+O (Hypothesis + Experiments + Outcomes): 완전한 실험 맥락 제공.
B. 안정성 분석 (Stability Analysis)
불완전한 정보 하에서의 모델 견고성을 측정하기 위해 점진적 제거 (Progressive Removal) 방식을 도입했습니다.
파라미터:k1 (제공된 실험의 비율), k2 (제공된 결과의 비율) 를 {0,0.5,1.0} 수준으로 조절합니다.
측정: 정보가 50% 만 제공되었을 때의 성능이 100% 제공 시나 0% (기초선) 일 때보다 나빠지는지 확인하여 비단조적 저하 (Non-monotonic degradation) 를 탐지합니다.
C. 데이터셋 및 모델
데이터셋:
MATTER-OF-FACT: 주장과 소스 논문 (실험 및 결과 포함) 이 매칭된 데이터. 주장이 실험 범위나 조건에 따라 타당성이 달라지는 복잡한 시나리오 포함.
REASONS: 명시적으로 지지되는 과학적 주장 데이터셋.
모델: GPT-5.1, GPT-4o, Gemini-2.5-Pro/Flash, Grok-4.1-fast 등 다양한 벤더와 규모 (Frontier vs. Efficiency) 의 LLM 평가.
전처리: 데이터 유출 (Data Leakage) 방지를 위해 모델의 지식 컷오프 (Knowledge Cutoff) 이후의 논문만 필터링하여 추출된 실험/결과를 제공합니다.
3. 주요 기여 (Key Contributions)
통제된 지식 프레임워크 개발: 실험 설계와 실험 결과가 LLM 의 타당성 판단에 미치는 영향을 체계적으로 분리하여 측정할 수 있는 새로운 평가 프로토콜을 제안했습니다.
견고성 분석 (Stability Analysis): 불완전한 정보가 모델 성능을 어떻게 저하시키는지 (특히 비단조적 저하 현상) 를 정량화했습니다.
새로운 발견: 실험 설명보다는 결과 (Outcomes) 정보가 LLM 의 판단에 더 안정적이고 유익하며, 불완전한 실험 설명은 오히려 성능을 떨어뜨릴 수 있음을 규명했습니다.
4. 실험 결과 및 분석 (Results & Analysis)
RQ1: 내부 지식의 역할
모든 모델이 가설만으로도 유의미한 (비무작위) 타당성 판단을 수행했으나, 근거가 약하고 일반적 타당성에 의존하는 경향이 있었습니다.
RQ2: 실험 vs 결과의 영향 (두 가지 일관된 패턴)
발견 1: 결과 (Outcomes) 가 실험 설명 (Experiments) 보다 안정적이다.
H+O 조건은 H(기초선) 대비 성능을 유지하거나 향상시키는 경향이 있습니다.
반면, H+E 조건 (결과 없이 실험 설계만 제공) 은 오히려 H 조건보다 성능이 저하되는 경우가 많았습니다. 이는 LLM 이 실험 설계의 모호함을 해결하지 못하고 혼란을 겪기 때문입니다.
발견 2: 더 많은 증거가 항상 좋은 것은 아니다.
H+E+O (완전 정보) 가 H+O (결과만) 보다 항상 더 좋은 성능을 내지는 않았습니다. 때로는 추가적인 실험 설명이 의사결정을 방해하여 성능을 저하시켰습니다. 이는 LLM 이 실험과 결과를 구성적으로 통합하지 못하고, 맥락이 충돌할 때 취약해짐을 시사합니다.
RQ3: 불완전 정보 하의 견고성
비단조적 저하 (Non-monotonic Degradation): 정보가 50% 만 제공되었을 때, 100% 제공 시나 0% (기초선) 일 때보다 성능이 더 나빠지는 현상이 빈번하게 관찰되었습니다.
기초선 이하 성능: 불완전한 실험 정보가 모델의 판단을 능동적으로 오도 (Actively Mislead) 하여, 아무런 정보도 없는 경우보다 더 나쁜 결과를 초래했습니다. 이는 LLM 이 불완전한 정보에 과도하게 의존 (Anchoring) 하거나 표면적인 일치 (Surface Alignment) 에만 반응하기 때문입니다.
실패 원인 분석
증거의 타당성보다 표면적 일치: 모델은 실험 설명과 가설 간의 어휘적/주제적 유사성에 과도하게 반응하며, 핵심 변수 (개입 강도, 종점 등) 의 불일치를 간과합니다.
관련성 게이트킹 (Relevance Gating) 부재: 제공된 증거가 가설을 실제로 테스트하는지 질문하지 않고, 모든 맥락을 합리화하려 시도합니다.
불완전 정보에 대한 앵커링: 일부 정보만 있을 때 불확실성을 인정하기보다 해당 조각에 고정되어 과신합니다.
5. 의의 및 결론 (Significance & Conclusion)
과학적 워크플로우에서의 LLM 한계: 현재 LLM 은 과학적 타당성을 '증거 기반의 심층적 판단'이 아닌 '표면적 분류'로 처리하는 경향이 있습니다.
실용적 시사점: 과학적 검증이나 RAG(Retrieval-Augmented Generation) 시스템에서 단순히 실험 설명을 추가하는 것만으로는 성능이 향상되지 않으며, 오히려 결과 (Outcomes) 에 초점을 맞추거나 불완전한 정보를 필터링하는 메커니즘이 필요합니다.
진단적 평가의 필요성: 표준적인 전체 문맥 평가만으로는 LLM 의 취약점 (불완전 정보 하의 붕괴) 을 발견할 수 없으므로, 통제된 증거 조건 하에서의 진단적 평가가 과학적 응용 분야에서 필수적입니다.
이 연구는 LLM 이 과학적 추론을 수행할 때 어떤 유형의 증거가 신뢰할 수 있는지, 그리고 어떤 상황에서 정보가 오히려 해가 되는지를 명확히 규명함으로써, 향후 과학적 AI 시스템의 설계와 평가 기준을 재정립하는 데 기여합니다.