기술 요약: 과학 커뮤니케이션에서의 일반사(Generics) 사용

문제 제기

과학자들은 연구 결과를 전달할 때 특정 범주 전체를 지칭하는 수량화되지 않은 현재 시제 문장(예: "스타틴은 심혈관 사건을 감소시킨다")인 **일반사(generics)**를 빈번하게 사용한다. 이러한 문장들은 광범위한 적용 가능성을 시사하지만, 코퍼스 분석에 따르면 연구 결과가 소규모 또는 비대표적인 표본에 기반했을 때도 이러한 표현이 자주 사용되는 것으로 나타났다. 이는 **과잉 일반화(overgeneralization)**의 위험을 초래하며, 청중이 해당 결과가 적용될 수 없는 인구 집단에 그 결과를 적용하게 함으로써 공공의 신뢰와 의사결정을 저해할 가능성이 있다.

다양한 이해관계자들이 이러한 언어적 형태를 어떻게 해석하는지에 대한 이해에는 중요한 격차가 존재한다. 일반인과 과학 전문가가 일반사에 대해 동일한 해석을 공유하는지, 아니면 전문가들이 일반적인 주장을 더 좁게 해석하도록 유도하는 '인식적 경계(epistemic vigilance)'를 갖추고 있는지 여부는 불분명하다. 또한, 대규모 언어 모델(LLM)(예: ChatGPT)을 사용하여 과학 문헌을 요약하는 것에 대한 의존도가 높아짐에 따라, 이 모델들이 인간과 유사하게 일반사를 해석하는지 여부도 알려지지 않았다. 만약 LLM이 인간 전문가보다 체계적으로 과학적 결과를 과잉 일반화한다면, 이들은 대규모로 오해의 소지가 있는 요약을 유포할 위험이 있다.

연구 방법론

본 연구는 세 그룹을 비교하는 혼합 방법론 설계를 채택하였다: 일반인(학사 학위 이하의 개인), 과학 전문가(심리학자 및 생물 의학 연구자, 그리고 기타 과학자/전문가), 그리고 두 가지 주요 LLM(ChatGPT-5 및 DeepSeek-V3.1).

실험 설계

• 자극물: 참가자들에게 상위 심리학 및 생물 의학 저널에서 발췌한 18개의 단일 문장 연구 결론을 제시하였다.
• 언어적 프레임: 각 결론은 세 가지 변형으로 제시되었다:
  1. 순수 일반사(Bare Generic): 수량화되지 않은 현재 시제 (예: "스타틴은 위험을 감소시킨다...").
  2. 과거 시제(Past Tense): 비일반적이고 구체적인 주장으로 취급 (예: "스타틴은 위험을 감소시켰다...").
  3. 완곡 어법(Hedged): 인식적 불확실성을 수식함 (예: "연구는 을 시사한다..." 또는 "일 수도 있다...").
• 측정 항목: 참가자들은 5점 척도를 사용하여 각 문장을 세 가지 차원에서 평가하였다:
  • 일반화 가능성(Generalizability): 주장이 얼마나 넓게 적용되는가 ( "연구 대상에게만 적용됨"에서 "모든 사람에게 적용됨"까지).
  • 신뢰성(Credibility): 주장이 얼마나 믿을만한가.
  • 영향력(Impact): 연구 결과에 더 깊이 관여할 가능성 (읽기, 공유하기, 활용하기).
• 절차:
  • 인간 참가자: 432명의 참가자(일반인 192명, 전문가 240명)가 Qualtrics를 통해 설문을 완료하였다.
  • LLM 참가자: 일반적인 대중의 상호작용을 시뮬레이션하기 위해 웹 기반 사용자 인터페이스를 통해 100개의 응답(모델당 50개)을 수집하였다. 각 모델은 "의사 참가자(pseudo-participant)"로 취급되었다.
• 질적 구성 요소: 통계적으로 유의미한 발견에 대해 가장 적절한 프레임 형식을 선택하고 그 이유를 설명하는 자유 응답 질문을 포함하였다.
• 분석: 참가자와 결론 내용의 영향을 통제하기 위해 선형 혼합 모델(LMM)을 사용하였다. 질적 응답에는 주제 분석(thematic analysis)을 적용하였다.

주요 결과

1. 언어적 프레임의 효과

모든 그룹에서 순수 일반사는 과거 시제나 완곡 어법 버전보다 유의미하게 더 높은 일반화 가능성과 더 높은 영향력을 가진 것으로 인식되었다. 그러나 역설적인 결과가 나타났는데, 과거 시제 문장이 일반사보다 더 높은 신뢰도를 얻었다는 점이다. 반면 완곡 어법은 가장 낮은 신뢰도를 기록했다.

2. 그룹 간 차이 (일반인 vs. 전문가 vs. LLM)

• 일반인 vs. 전문가: 일반인이 주장을 더 넓게 해석할 것이라는 가설과 달리, 심리학자 및 생물 의학 연구자들은 일반인보다 과학적 결론을 덜 일반화적이고, 덜 신뢰할 만하며, 영향력이 적은 것으로 평가하였다. 이는 특정 분야의 전문성이 과잉 일반화에 대한 더 높은 인식적 경계와 주의를 촉진함을 시사한다.
• LLM vs. 인간: 두 LLM(ChatGPT-5 및 DeepSeek-V3.1) 모두 과학적 결론을 일반인과 전문가보다 현저히 더 일반화적이고, 신뢰할 만하며, 영향력 있는 것으로 평가하였다. 이는 이 모델들이 과학적 주장의 강도와 범위를 체계적으로 과대평가하는 경향이 있음을 나타낸다.
• 상호작용 효과: 전문가(특히 심리학 및 생물 의학 연구자)는 일반인보다 언어적 프레임에 더 강한 민감도를 보였다. 이들은 일반사에서 과거 시제나 완곡 어법 프레임으로 이동할 때 일반인보다 훨씬 더 크게 일반화 가능성을 낮게 평가하였다. 반면, LLM은 일반사에서 과거 시제로 이동할 때 일반화 가능도 평가를 상향 조정하는 모습을 보여 인간의 패턴과 대조를 이루었다.

3. 질적 선호도

• 인간의 선호도: 인간 참가자의 64%는 "연구는 ~을 시사한다"는 프레임을 선호하였으며, 이는 확신과 주의 사이의 균형을 중시하는 태도였다. 이들은 순수 일반사를 "과도하게 자신만만하고", "과잉 일반화된" 것으로 자주 비판하였다.
• LLM의 선호도: ChatGPT-5는 "확신"과 "해석의 용이성"을 이유로 순수 일반사를 강력히 선호했다(52%). DeepSeek-V3.1은 인간의 선호도와 더 유사하게 "연구는 ~을 시사한다"를 선호하였다.
• 이유: 인간은 극단을 피하고 발견을 특정 연구에 국한시키는 것을 강조하였다. LLM은 인간이 필요하다고 생각하는 주의 사항을 희생하면서까지 명확성과 광범위한 적용 가능성을 우선시했다.

주요 기여

1. 불일치의 실증적 증거: 본 연구는 일반인, 도메인 전문가, 그리고 LLM이 과학적 일반사를 어떻게 해석하는지를 직접 비교한 최초의 연구이다. 이는 "이중 불일치"를 드러낸다: 전문가는 일반인을 일반사보다 더 좁게 해석하는 반면, LLM은 일반인을 훨씬 더 넓게 해석한다.
2. 전문성 효과: 본 연구는 모든 전문가가 언어를 동일하게 해석한다는 통념에 도전한다. 특정 분야의 전문성(심리학 및 생물 의학)은 재현성 위기와 방법론적 한계에 대한 인식을 바탕으로 일반사에 대해 더 신중한 해석을 유도하는 반면, 다른 분야의 전문가들은 일반인과 유의미한 차이를 보이지 않았다.
3. 과학 커뮤니케이션에서의 LLM 행동: 본 논문은 선도적인 LLM들이 과학적 결과를 체계적으로 과잉 일반화한다는 것을 입증한다. 이는 LLM이 단순히 텍스트를 요약하는 것이 아니라, 과학적 주장의 범위와 신뢰도를 능동적으로 부풀려, 원래 저자의 의도와는 다른 방향으로 전달할 위험이 있음을 시사한다.
4. 프레임의 미묘한 차이: 본 연구는 모든 수식어가 동일하게 기능하지 않음을 강조한다. "과거 시제"는 신뢰도를 높였지만, "완곡 어법"(예: "~일 수도 있다")은 신뢰도와 영향력을 모두 감소시켰다. 이는 어떤 종류의 수식어를 사용하는가가 대중의 이해에 매우 중요하다는 것을 시사한다.

의의 및 시사점

저자들은 이러한 해석적 불일치가 과학 커뮤니케이션에 상당한 위험을 초래한다고 주장한다.

• 과학자들을 위하여: 전문가는 자신의 독자가 미묘하고 신중한 해석을 공유할 것이라고 가정하며 일반사를 사용할 수 있지만, 이는 의도치 않게 과잉 일반화를 조장할 수 있다. 데이터에 따르면 과거 시제 프레임조차 일반인이 과잉 일반화하는 것을 완전히 방지하지 못할 수 있다.
• LLM을 위하여: LLM이 연구를 요약하는 데 사용될 경우, 일반사를 매우 신뢰할 만하고 광범위하게 적용 가능한 것으로 평가하는 경향은 과학적 주장의 규모를 부풀린 내용을 체계적으로 유포하는 결과로 이어질 수 있다. 이는 LLM이 인간 전문가가 적용하는 '인식적 경계'나 도메인 특화된 회의론이 부족하다는 점에서 특히 우려된다.
• 정책 및 교육을 위하여: 본 연구 결과는 인간 매개 및 AI 매개 과학 커뮤니케이션 모두에서 언어 선택에 더 큰 주의를 기울여야 함을 강조한다. 전문가와 대중의 인식을 일치시키고, 과잉 일반화의 정상화를 방지하기 위해 LLM이 일반사(generic claims)를 어떻게 처리하는지 모니터링할 필요가 있다.

본 논문은 일반사가 수사적으로는 효율적이지만, 다양한 청중(AI 시스템 포함)에게 과학적 불확실성을 정확하게 전달하기 위해서는 세심한 조율이 필요하다고 결론짓는다.