Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts

이 논문은 대규모 언어 모델 (LLM) 을 활용하여 인용 문맥 분석 (Citation Context Analysis, CCA) 을 수행하는 새로운 방법론적 접근을 제안하고 검증합니다. 기존 CCA 연구가 대량의 데이터를 분류하는 '확장 (Scaling Up)'에 집중했다면, 이 연구는 단일한 복잡한 사례에 대한 심층적이고 해석적인 읽기를 '내부 확장 (Scaling In)'하는 데 LLM 이 어떻게 기여할 수 있는지 탐구합니다.

다음은 아노 시몬스 (Arno Simons) 의 논문 "Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts"에 대한 상세 기술적 요약입니다.

---

1. 연구 문제 (Problem)

• 기존 CCA 의 한계: 전통적인 인용 문맥 분석은 인용의 기능을 범주화 (예: 필수, 부가, 부정 등) 하여 대규모 코퍼스에 적용하는 '확장 (Scaling Up)' 방식을 취해 왔습니다. 그러나 길버트 (Gilbert, 1977) 는 인용이 특정 독자나 상황에 대한 설득의 수단이며, 그 의미가 독자에 따라 다르게 해석될 수 있음을 지적했습니다. 특히 부정적 평가는 직접적으로 표현되지 않고 간접적으로 드러나는 경우가 많아, 단일한 라벨로 분류하는 것은 해석의 다원성을 무시하는 '사회학적으로 취약한' 전제에 기반합니다.
• LLM 의 역할에 대한 의문: 최근 LLM 은 문맥적 해석을 수행할 수 있는 것으로 알려졌지만, 기존 연구들은 LLM 이 표면적 분류는 가능해도 암묵적 의미나 복잡한 해석적 재구성은 불가능하다고 보았습니다.
• 핵심 질문: LLM 을 사용하여 단일 사례 (하드 케이스) 에 대한 '두꺼운 기술 (Thick Description)'과 해석적 다원성을 확장 (Scaling In) 할 수 있는가? 즉, LLM 을 단순 분류기가 아닌, 인간 연구자와 협력하여 다양한 해석적 가설을 생성하고 조직하는 '가이드된 공동 분석가 (Guided Co-analyst)'로 활용할 수 있는가?

2. 방법론 (Methodology)

연구는 1975 년 Chubin 과 Moitra 의 논문 속 주석 6 번 (Footnote 6) 을 '하드 케이스'로 선정하여 실험을 수행했습니다. 길버트 (1977) 가 이 주석을 해석한 과정을 절차적 모델로 삼아 다음과 같은 2 단계 프롬프트 파이프라인을 설계했습니다.

A. 실험 설계 (2x3 Factorial Design)

총 90 회 실행 (30 회 1 단계 × 15 회 샘플링 × 2 단계 6 가지 설정) 을 통해 450 개의 가설을 생성했습니다.

• 1 단계 (Surface Pass): 주석 텍스트만 제공받아 Chubin 과 Moitra 의 6 가지 계층적 범주 (Essential, Supplementary, Negational 등) 로 분류하고, 인용된 문헌의 내용과 인용 관계에 대한 '기대 (Expectation)'를 설정합니다.
• 2 단계 (Interpretative Reconstruction): 1 단계의 출력과 함께 인용된 원문 (Price, 1970; Gilbert & Woolgar, 1974) 및 인용된 원문 전체 (Chubin & Moitra, 1975) 를 제공합니다. 모델은 4 단계를 거쳐 해석적 재구성을 수행합니다.
  1. 기대치 확인 (기대치와 실제 텍스트의 불일치 탐지)
  2. 단서 분석 (어휘적/화학적 특징 분석)
  3. 확장 문맥 분석 (논문 내에서의 역할, 위치 등)
  4. 가설 생성 (5 개의 서로 다른 해석적 가설 - 정당화 쌍 생성)

B. 프롬프트 변인 (Prompt Variation)

2 단계 프롬프트를 다음과 같이 변형하여 민감도 분석을 수행했습니다.

• 구조 (Scaffolding):
  • 4-step: 명시적인 단계별 지시 (기대 확인, 단서 분석 등 포함).
  • 1-step: 단계 없이 직접 5 개의 가설 생성 지시.
• 넛지 (Nudging - 예시 제공):
  • Toward: 해당 사례 (주석 6) 에 적합한 해석 예시 제공 (계보, 은유적 비판, 청중 연결 등).
  • Away: 해당 사례에 적합하지 않은 해석 예시 제공 (과도한 칭찬, 단순한 사회적 연결 등).
  • No-nudge: 추가 예시 없음.

C. 분석 전략

• 인코딩: 생성된 450 개의 가설에 대해 귀납적 코딩을 통해 21 가지 반복적 해석적 이동 (Interpretative Moves, 예: 'Preempt', 'Agile', 'Canon' 등) 을 도출했습니다.
• 통계 분석: 선형 확률 모델 (Linear Probability Models, LPM) 을 사용하여 프롬프트 구조와 넛지가 각 코드의 빈도와 어휘 선택에 미치는 영향을 추정했습니다.

3. 주요 결과 (Key Results)

A. 표면적 분류의 안정성 (RQ1)

• 1 단계에서 GPT-5 는 주석 6 을 일관되게 'Supplementary(부가적)'로 분류했습니다. 이는 기존 CCA 의 '확장 (Scaling Up)' 방식과 유사하게 표면적 분류는 매우 안정적임을 보여줍니다.

B. 해석적 공간의 다양성 (RQ2)

• 2 단계에서 모델은 450 개의 서로 다른 가설을 생성했으며, 이는 21 가지 하위 주제로 재구성되었습니다.
• 모델은 텍스트 기반 증거 (예: "relax", "reiterated"라는 단어, Price 와 G&W 의 인용 관계 불일치) 를 활용하여 다양한 해석 (비판 관리, 개념적 유연성 정당화, 계보 재구성, 청중 연결 등) 을 제시했습니다.
• 길버트의 '경고 (Admonishment)' 해석과 유사한 지점을 포착했지만, 이를 '경고'보다는 '계보 관리'나 '위치 설정'으로 해석하는 경향이 더 강했습니다.

C. 프롬프트 민감도 (RQ3)

• 구조적 영향: 4-step 프롬프트는 모델이 'Canon(정통화)', 'UseGW(권위 차용)'와 같은 계보적 해석을 더 많이 하도록 유도한 반면, 1-step 은 'Pragma(실용주의)', 'Agile(유연성)' 해석을 더 많이 생성했습니다.
• 넛지 영향: 'Toward' 넛지는 'PrioP(우선권)', 'MuteGW(비판 약화)' 해석을 증가시켰고, 'Away' 넛지는 'Teach(교육적 지시)'와 같은 덜 그럴듯한 해석을 생성하게 했습니다.
• 어휘적 영향: 프롬프트의 예시 텍스트가 모델의 생성된 가설의 어휘 (Lexical Echo) 에 직접적인 영향을 미쳤습니다.

D. 길버트 해석과의 비교 (RQ4)

• 모델은 길버트가 지적한 핵심 단서 ("introduced... then reiterated" 및 G&W 가 Price 를 정의 부분에서 인용하지 않은 사실) 를 모두 포착했습니다.
• 그러나 길버트가 이를 '은밀한 경고 (Veiled Admonishment)'로 해석한 반면, 모델은 이를 주로 '계보 관리 (Lineage Management)'나 'Price 의 우선권 강조'로 해석했습니다. 모델은 갈등을 직접적으로 표현하기보다는 중재하거나 순화시키는 경향을 보였습니다.

4. 주요 기여 (Key Contributions)

1. 방법론적 전환 (Scaling In): LLM 을 대규모 분류를 위한 도구가 아닌, 단일 사례에 대한 '두꺼운 해석적 재구성'을 위한 도구로 활용하는 새로운 프레임워크를 제시했습니다.
2. 가이드된 공동 분석가: LLM 이 인간 연구자의 해석을 대체하는 것이 아니라, 인간이 놓칠 수 있는 다양한 해석적 가능성을 생성하고 조직하여 인간 연구자의 판단을 보완하는 역할을 할 수 있음을 입증했습니다.
3. 프롬프트 공학의 분석 대상화: 프롬프트의 구조 (Scaffolding) 와 예시 (Nudging) 가 해석적 공간의 분포를 체계적으로 왜곡하거나 재분배한다는 것을 실증적으로 보여주었습니다. 이는 LLM 기반 연구에서 프롬프트 설계가 방법론적 선택의 핵심 요소임을 강조합니다.
4. 가시화된 해석 프로세스: 길버트의 암묵적인 해석 단계를 명시적인 프롬프트 체인으로 변환함으로써, 해석적 추론 과정을 투명하게 만들고 재현 가능하게 만들었습니다.

5. 의의 및 시사점 (Significance)

• 해석의 다원성 인정: 이 연구는 인용의 의미가 고정된 것이 아니라 해석자에 따라 달라질 수 있다는 점을 인정하고, LLM 을 통해 이러한 '해석적 다원성 (Interpretative Plurality)'을 체계적으로 탐색할 수 있음을 보여줍니다.
• 인간 - AI 협력 모델: LLM 은 암묵적 의미의 회복을 자동화할 수는 없지만, 인간 연구자가 고려하지 못한 다양한 해석적 가설을 생성하는 '스파링 파트너' 역할을 할 수 있습니다. 최종 판단과 책임은 인간 연구자에게 남아야 합니다.
• 방법론적 성찰: 프롬프트와 모델의 훈련 데이터가 해석적 공간에 어떤 편향을 주입하는지 이해하는 것이 중요하며, 이를 위해 프롬프트 설계와 모델 선택을 명시적으로 문서화해야 함을 강조합니다.
• 한계: 단일 사례에 대한 증명 (Proof of Concept) 이며, 코딩과 분석이 저자 한 명에 의해 수행되었습니다. 또한 GPT-5 는 독점 모델로 내부 프로세스가 불투명합니다.

결론적으로, 이 논문은 LLM 을 활용한 인용 분석이 단순한 분류의 자동화를 넘어, 복잡한 과학적 실천의 해석적 재구성을 지원하는 새로운 방법론적 가능성을 제시하며, 프롬프트 설계의 중요성과 인간 - AI 협력의 새로운 패러다임을 제시합니다.