💬 NLP

LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science

본 논문은 이론 기반의 프롬프트 최적화와 다수 평가자 신뢰도 분석을 사용하여 세 가지 최첨단 거대언어모델(LLM)이 베이지안 인지과학 내 실재론과 도구주의 사이의 미묘한 입장 차이를 신뢰성 있게 탐지할 수 있도록 검증된 프레임워크를 제시하며, 이를 통해 질적 코딩을 대규모 코퍼스로 성공적으로 확장하고 저수준 지각과 고수준 인지 연구 간의 실재론에 관한 유의미한 차이를 정량화한다.

원저자: Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 인간의 정신이 어떻게 작동하는지에 관한 방대한 과학 서적 도서관을 이해하려고 노력하고 있다고 상상해 보세요. 구체적으로 당신이 알고 싶은 것은 이것입니다: 저자들은 이 수학적 모델들이 실제로 우리 뇌가 물리적으로 어떻게 작동하는지를 설명한다고 믿는가(실재론, Realism), 아니면 그저 예측을 위한 유용한 도구일 뿐이라고 생각하는가(도구주의, Instrumentalism)? 마치 영토 그 자체는 아니지만 지형을 나타내는 지도와 같은 것 말입니다.

이것은 까다로운 질문입니다. 저자들은 좀처럼 "나는 실재론자다"라고 직접 말하지 않습니다. 대신 그들은 미묘한 암시, 완곡한 표현, 그리고 복잡한 문장 속에 자신의 진심을 숨깁니다. 전통적으로 이 질문에 답하려면, 모든 문장을 읽고 저자의 의도를 추측하여 기록할 전문가 팀이 필요합니다. 이는 느리고, 비용이 많이 들며, 규모를 키우기 어렵습니다.

이 논문은 다음과 같은 질문을 던집니다: 우리는 고도의 AI(거대 언语言 모델)를 사용하여 우리 대신 이 일을 수행할 수 있을까?

이해를 돕기 위해 몇 가지 창의적인 비유를 사용하여 이들이 시도한 과정을 설명해 보겠습니다.

1. 문제: "숨겨진 의미" 퍼즐

저자의 입장을 하나의 비밀 레시피라고 생각해 보세요. 당신은 요리(텍스트)를 맛볼 수는 있지만, 재료(저자의 진정한 믿음)는 메뉴판에 적혀 있지 않습니다.

도전 과제: 만약 당신이 AI에게 단순히 "이것은 실재론인가, 도구주의인가?"라고 묻는다면, AI는 게으르게 행동할 수 있습니다. 가장 흔한 답을 선택하거나, 안전해 보이기 위해 매번 중간 값을 선택할 수도 있습니다. AI가 실제로 텍스트를 이해해서가 아니라, 단지 다른 AI들과 똑같은 게으른 지름길을 따르고 있기 때문에 서로 동의할 수도 있습니다.
목표: 연구자들은 AI가 요리를 맛보고, 특정 재료를 식별하며, 어떻게 하면 '게크질'을 하지 않고 그 레시피가 얼마나 '실재론적'인지 혹은 '도구주의적'인지 정확히 말할 수 있는 시스템을 구축하고자 했습니다.

2. 해결책: "스마트 코치"와 "공유된 규칙 책"

단순히 AI에게 추측하라고 시키는 대신, 연구자들은 세 가지 주요 부분으로 구성된 엄격한 훈련 시스템을 구축했습니다.

A. 규칙 책 (코드북, The Codebook)

그들은 단순히 모호한 지침을 준 것이 아닙니다. 상세한 설명서(코드북)를 작성했습니다.

다이빙 경기의 심사 점수표를 상상해 보세요. 단순히 "좋은 다이빙"이라고 적혀 있지 않습니다. "입수", "회전", "물보라"와 같이 구체적인 카테고리가 있습니다.
이 매뉴얼은 어떤 단어나 구절이 "실재론"에 해당하고 무엇이 "도구주의"에 해당하는지를 정확히 정의했습니다. 심지어 0에서 100까지의 척도를 제공하여 미묘한 차이(예: "대체로 실재론적이지만 약간의 의구심이 있음")를 허용했습니다.

B. "스마트 코치" (자동 연구 루프, Autoresearch Loop)

이것이 가장 창의적인 부분입니다. 연구자들은 단순히 프롬프트를 작성하고 결과가 좋기를 바란 것이 아닙니다. 그들은 다른 AI를 훈련시키기 위해 AI 에이전트를 코치로 사용했습니다.

과정: 코치(AI)는 질문을 던지는 새로운 방식(새로운 프롬프트)을 제안합니다. 그리고 이를 전문가가 채점한 소수의 예시에 테스트합니다.
함정: 때때로 AI는 "치트 코드"를 찾아내기도 합니다. 예를 들어, 매번 중간 점수를 선택하기만 하면 전문가와의 "일치도" 점수가 높아진다는 사실을 깨달을 수 있습니다.
가드레일: 이를 막기 위해 연구자들은 진단 게이트(호루라기를 든 심판과 같은 역할)를 설치했습니다.
- 게이트 1: "AI가 전체 척도를 실제로 사용했는가, 아니면 그냥 중간값만 골랐는가?"
- 게이트 2: "AI가 규칙을 배우는 대신 정답을 단순히 암기해 버린 것은 아닌가?"
- 만약 AI가 속임수를 쓰려 한다면, 코치는 프롬프트를 거부하고 다시 시도합니다. AI가 공정하게 게임을 배우는 법을 익힐 때까지 이 과정은 반복됩니다.

C. "공유된 규칙 책" (모두를 위한 하나의 프롬프트)

그들은 세 가지 서로 다른 최상위 AI 모델(GPT, Claude, Gemini)을 테스트했습니다. 각 모델에 서로 다른 기술을 가르치는 대신, 모두가 정확히 동일한 설명서를 사용하도록 강제했습니다.

이유는? 만약 서로 다른 세 개의 AI가 동일한 규칙을 사용하여 동일한 결론에 도달한다면, 그 답은 견고하다는 것을 알 수 있기 때문입니다. 이는 다이빙 대회에서 세 명의 서로 다른 심판이 있는 것과 같습니다. 만약 그들이 모두 같은 점수를 준다면, 당신은 그 결과를 신뢰할 수 있습니다.
결과: 이 시스템을 통해 AI가 공정하게 학습하도록 만들었습니다.

3. 결과: 무엇을 발견했는가?

이 엄격한 시스템으로 AI를 훈련시킨 후, 연구자들은 이들을 210개의 과학 논문에서 추출된 6,858개의 인용구에 투입했습니다.

일치도: 세 AI는 서로 매우 잘 일치했습니다.
- 문장 단위: 그들은 약 76%의 확률로 일치했습니다. 이는 좋은 결과이지만 완벽하지는 않습니다. 때로는 문장이 모호하여 인간조차 의견이 갈릴 수 있기 때문입니다.
- 논문 단위: 문장들을 평균 내어 논문 전체를 살펴봤을 때, 일치도는 **96~97%**로 급증했습니다.
- 비유: 세 사람이 군중의 키를 추측한다고 상상해 보세요. 그들은 특정 한 사람의 키에 대해서는 의견이 다를 수 있지만, 만약 그들이 군중의 평균 키에 대해 모두 동의한다면, 그들은 매우 신뢰할 수 있는 것입니다. AI는 각 논문의 "큰 그림"을 보는 데 탁월했습니다.
발견: AI는 연구자들이 수년간 의심해 왔지만 데이터로 증명하지 못했던 흥미로운 사실을 찾아냈습니다.
- 저차원 연구자들(감각과 움직임을 연구하는 이들)은 모델이 실제 뇌 기제를 설명한다고 훨씬 더 강력하게 믿는 경향이 있습니다.
- 고차원 연구자들(복잡한 사고를 연구하는 이들)은 더 회의적이며 모델을 단순한 도구로 간주합니다.
- AI는 이 차이를 수치화했습니다. 저차원 논문은 고차원 논문보다 "실재론" 척도에서 8.8점 더 높았습니다.

4. 결론

이 논문은 "AI가 이제 인간 과학자를 대체할 수 있다"고 말하는 것이 아닙니다. 대신 이렇게 말합니다:

"매우 명확하고 상세한 규칙 책과, 속임수를 막기 위한 엄격한 심판을 제공한다면, AI는 인간이 수동으로 추적하기에는 너무 미묘한 패턴을 찾기 위해 방대한 양의 텍스트를 분석하는 데 도움을 줄 수 있다."

그들은 모호한 철학적 질문("그들은 모델을 믿는가?")을 측정 가능하고 신뢰할 수 있는 데이터 포인트로 바꾸는 데 성공했습니다. 적절한 안전장치가 있다면, AI가 과학계의 숨겨진 믿음을 이해하는 강력한 파트너가 될 수 있음을 입증했습니다.

기술 요약: 과학적 담론에서의 LLM 보조 태도 탐지 (LLM-Assisted Stance Detection in Scientific Discourse)

문제 제기
질적 코딩(Qualitative coding)은 사회과학의 근간이지만, 전문가의 주석 작업이 어렵다는 점, 특히 대상 구성 개념(construct)이 해석적이고 이론적으로 무거우며 간접적으로만 표현될 때 발생하는 확장성의 한계에 직면해 있다. 대규모 언어 모델(LLM)이 잠재적인 해결책을 제시하지만, 구성 개념이 특정 구절로 표면화되어 나타나지 않을 경우 그 신뢰성은 의심스러울 수 있다. 본 논문은 베이지안 인지과학에서의 저자 태도, 즉 저자가 베이지안 모델을 실제 정신적/신경적 메커니즘에 대한 기술(realism, 실재론)로 취급하는지, 아니면 유용한 수학적 도구(instrumentalism, 도구주의)로 취급하는지에 대한 **실재론-도구주의 구분(realism–instrumentalism distinction)**을 탐지하는 과제를 다룬다. 이러한 구분은 흔히 완곡하게 표현되며, 철학적으로 깊고, 도메인 의존적이어서, 표면적인 단서에 의존하는 자동화 시스템이 분류하기 어렵다.

방법론
본 연구는 세 가지 이질적인 프런티어 LLM(GPT-5.1, Claude Sonnet 4.6, Gemini 3 Pro Preview)에 대해 하나의 공유된 프롬프트를 최적화하기 위해 **전문가 주도형, 진단 게이트 기반의 오토리서치 프레임워크(expert-led, diagnostic-gated autoresearch framework)**를 채택한다.

코드북 설계: 이론 중심의 코드북은 합계가 100으로 제한된 상보적인 실재론(Realism) 및 도구주의(Instrumentalism) 점수를 정의한다. 각 점수는 7단계 서열 척도(반실재론에서 강한 실재론까지)를 사용하며, 밴드 내 연속적 점수 오프셋(중점 ±4 또는 ±8)을 활용한다. 코드북에는 자동 검증을 가능하게 하는 의미론적 정의와 언어적 기준 태그(주체, 주장 대상, 양태, 증거 연결)가 포함된다.
참조 주석(Reference Annotations): 도메인 전문가는 15개 논문에서 251개의 가정 포함 구절을 추출하여 코드북을 사용하여 주석을 달았으며, 이를 튜닝(151), 개발(50), 홀드아웃(50) 세트로 분할하였다.
오토리서치 프롬프트 최적화: 자동화된 에이전트(Claude Code로 구현)는 프롬프트 수정을 반복적으로 제안했다. 후보 수정안은 결합 신뢰도 지표(ICC와 Krippendorff의 $\alpha$ $α$ 의 조화 평균)를 개선하고 동시에 다음 네 가지 진단 게이트를 통과한 경우에만 수용되었다:
- 결합 지표(Combined Metric): 조화 평균 점수를 개선해야 함.
- 오프-미드포인트(Off-Midpoint): 모델이 연속적 척도를 사용하지 않고 모든 구절을 밴드 중점에 할당하는 '중점 붕괴(midpoint collapse)' 현상을 방지함.
- 밴드 내 잔차 ICC(Within-Band Residual ICC): 연속적 일치도가 크게 저하되지 않음을 보장함.
- 지속적 일관성(Persistent Coherence): 구조적 스키마 위반을 제한함.
- 디리킹(De-leaking): 모델이 정답을 '예측'하는 것을 방지하기 위해, 기대되는 밴드 빈도나 기본 밴드를 의도치 않게 명시하는 단서를 제거하는 결정적인 단계.
배포 및 분석: 최종 제로샷(zero-shot) 프롬프트는 210개 논문의 6,858개 구절에 배포되었다. 신뢰도는 다중 평가자 일치도(ICC, $\alpha$ , Fleiss' $\kappa$ ) 및 논문 수준의 순위 안정성(선형 혼합 효과 모델의 논문별 무작위 절편 상관관계)을 통해 평가되었다.

주요 결과

프롬프트 성능: 최종 프롬프트는 홀드아웃 결합 신뢰도 점수 0.76(ICC = 0.79, $\alpha$ = 0.74의 조화 평균)을 달取得했다. 진단 게이트는 모델이 밴드 중점으로 붕괴되는 것을 성공적으로 방지하여, 연속적 척도를 진정으로 사용하도록 강제했다.
모델 간 일치도: 전체 코퍼스에서 세 LLM은 상당한 구절 수준 일치도를 보였다(Combined = 0 0.78; ICC = 0.80; $\alpha$ = 0.76). 쌍별 정확한 일치도는 78.4%였으며, 비교 대상의 88.4%가 인접한 한 개 밴드 이내에 존재했다.
교정(Calibration) 대 수렴(Convergence): 모델들이 체계적인 교정 변화(예: Claude는 실재론-회의론 쪽으로, Gemini는 강한 실재론 쪽으로 편향됨)를 보였음에도 불구하고, 거의 완벽한 논문 수준의 순위 안정성( $r = 0.96–0.97$ )을 달성했다. 이는 개별 구절 분류는 다양할 수 있으나, 모델들이 논문의 상대적 순위 결정에는 수렴함을 나타낸다.
실질적 발견:
- 코퍼스는 주로 약한 실재론(Weakly Realist) 경향을 보였으나(67.9%의 구절), 논문들이 균일한 경우는 드물었다. 단 하나의 밴드만을 사용한 논문은 1.4%에 불과했으며, 59.5%는 네 개 이상의 밴드에 걸쳐 분포했다.
- 정량화된 중요한 구조적 차이가 발견되었다: 저수준 지각/운동 관련 논문은 고수준 인지 관련 논문보다 실재론 점수가 8.8점 높게 나타났다( $p < .001, d=0.60$ ). 이는 해당 분야의 오랜 질적 직관을 실증적으로 입증한다.

의의 및 주장
본 논문은 구성 개념이 검증 가능한 코드북을 통해 조작화될 때, 프런티어 LLM이 어떻게 이론적으로 까다로운 질적 코딩을 지원할 수 있는지를 보여주는 **사례 연구(case study)**로서 본 작업을 위치시킨다.

방법론적 기여: 저자들은 프롬프트를 이질적인 모델 간의 공통 주석 프로토콜로 취급하는 진단 인지형 프롬프트 최적화(diagnostic-aware prompt optimization) 프레임워크를 제시한다. 이 접근 방식은 개별 모델 튜닝보다 공유된 지침 하에서의 수렴을 우선시한다.
분석의 입도(Granularity): 본 연구는 일치도 지표가 다운스트림 추론의 입도와 일치해야 함을 강조한다. 구절 수준의 일치도는 상당했지만, 논문 수준의 순위 안정성은 거의 완벽했다는 점은 집합적 수준의 분석이 아이템 수준의 노이즈에 의해 가려진 신호를 복구할 수 있음을 시사한다.
한계 및 범위: 저자들은 이 프레임워크가 모든 질적 분석이 아닌, 유사한 이론적 요구가 높은 과업에 일반화되도록 의도되었음을 명시적으로 밝힌다. 또한 단일 전문가 참조 세트 사용(인간 간 신뢰도 추정 불가), 특정 도메인 집중(베이지안 인지과학), 그리고 LLM 간의 공유된 학습 데이터 편향 가능성 등의 한계를 인정한다. 본 작업은 전문가의 판단을 대체하는 것이 아니라, 자동화된 지표가 놓칠 수 있는 실패 모드(순환적 단서 등)를 탐지하기 위한 전문가 주도의 감독에 의존하여 전문가의 판단을 확장하는 것을 목표로 한다.