Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries

이 논문은 LLM 이 생성한 텍스트 요약의 의미 평가에 통계적 유사도 이상의 해석적 접근이 필요함을 주장하며, 기호학과 해석학을 기반으로 한 새로운 정성적 평가 지표인 '유도 개념 평가 (ICR)'를 제안하고 이를 통해 LLM 이 인간보다 문맥적 의미 정확도에서 미흡함을 실증적으로 분석했습니다.

핵심

이 논문은 **"AI 가 정말로 '뜻'을 이해하는 걸까, 아니면 그냥 '말'을 흉내 낼 뿐일까?"**라는 아주 중요한 질문에서 시작합니다.

제목인 **"의미를 시뮬레이션할 뿐, 영원히 (Nevermore) 진짜 의미는 아니다!"**는 에드거 앨런 포의 시 <까마귀>에서 영감을 받았습니다. 시에서 'Nevermore(다시는 안)'라는 단어는 문맥에 따라 '사랑의 상실', '희망의 부재', '영원한 절망' 등 전혀 다른 의미를 갖습니다. 하지만 AI 는 이 단어의 맥락과 숨겨진 뜻을 제대로 파악하지 못하고, 단순히 단어의 통계적 패턴만 보고 답을 내놓는다는 것이 이 논문의 핵심 주장입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: AI 는 '단어'만 보고, 인간은 '뜻'을 읽는다

🍎 비유: 사과와 '사과'라는 단어

• 인간의 방식: 우리가 "사과"라는 말을 들으면, 단순히 빨간 과일을 떠올리는 게 아닙니다. "어머니가 주신 따뜻한 사과", "사랑하는 사람과 나누는 사과", "회사에서 사과하는 사과" 등 상황과 관계에 따라 그 뜻이 달라집니다. 우리는 단어 뒤에 숨은 '마음'과 '맥락'을 읽습니다.
• AI 의 방식: AI 는 방대한 양의 책을 읽었지만, 그걸로 "사과"라는 단어가 어떤 상황에서 어떻게 쓰였는지 통계적으로만 기억합니다. "사과"가 "과일"과 자주 함께 나온다는 건 알지만, "사랑의 사과"가 가진 감동적인 뉘앙스는 모릅니다.
• 결과: 기존에 쓰던 AI 평가 점수 (ROUGE, BLEU 등) 는 **"단어가 얼마나 비슷하게 쓰였나?"**만 봅니다. 마치 시험에서 맞은 단어 수만 세는 것과 같습니다. 그래서 AI 가 문법과 단어는 완벽하게 맞췄는데, 진짜 뜻은 완전히 엉뚱한 답을 내놓아도 점수는 높게 나올 수 있습니다.

2. 해결책: ICR(유도적 개념 평가) 이라는 새로운 자

저자들은 AI 의 답이 진짜 뜻과 얼마나 일치하는지 측정하기 위해 **ICR(Inductive Conceptual Rating)**이라는 새로운 방법을 제안합니다.

🕵️‍♀️ 비유: 명탐정과 범인 찾기

• 기존 방법 (자동 점수): 범인의 옷차림, 키, 체중이 데이터와 일치하는지 자동 기계로 재는 겁니다. (단어 일치율)
• 새로운 방법 (ICR): 명탐정 (전문가) 이 사건 현장 (원문) 을 직접 조사하고, 범인 (AI 의 답) 이 진범의 동기, 심리, 숨겨진 의도까지 파악했는지 수사하는 겁니다.

ICR 이 하는 일 (4 단계):

1. 진실의 기준 잡기 (RTA): 전문가들이 원문을 읽고 "이 글의 진짜 핵심 뜻은 무엇인가?"를 함께 논의하여 기준을 만듭니다. (예: "이 글은 '일과 삶의 균형'에 대한 고통을 다루고 있다.")
2. AI 의 답 분석 (ICA): AI 가 만든 요약문을 보고, AI 가 어떤 개념을 끌어냈는지 새롭게 찾아봅니다. (예: AI 는 "일과 삶의 균형"을 말했지만, '고통'이라는 감정은 빼먹고 '효율성'만 강조했다.)
3. 비교하기: 전문가의 기준과 AI 의 답을 대조합니다.
   • 맞은 점 (True Positive): '고통'을 제대로 이해했나?
   • 빠진 점 (False Negative): 중요한 '고통'을 놓쳤나?
   • 틀린 점 (False Positive): 원래 없던 '효율성' 이야기를 지어냈나?
4. 점수 매기기: 이 비교를 통해 AI 가 진짜 뜻을 얼마나 잘 이해했는지 0~1 점 사이의 점수로 줍니다.

3. 실험 결과: 데이터가 많아도 AI 는 여전히 '흉내' 내기만 한다

저자들은 다양한 크기의 데이터 (50 개~800 개) 로 실험을 해보았습니다.

• 결과: AI 는 단어 맞추기에서는 인간보다 더 잘했습니다. (문장이 매끄럽고, 관련 단어를 많이 썼습니다.)
• 하지만: 뜻 이해하기에서는 인간보다 훨씬 떨어졌습니다. 특히 데이터가 적을수록 AI 는 중요한 뉘앙스를 놓치거나, 없는 이야기를 지어내는 (할루시네이션) 경향이 강했습니다.
• 재미있는 발견: 데이터 양이 늘어나면 AI 점수가 조금씩 올라갔지만, 여전히 인간 전문가의 수준에는 미치지 못했습니다. AI 는 더 많은 책을 읽어도 여전히 '통계적 추측'을 할 뿐, '인생의 경험'을 바탕으로 한 깊은 이해는 못 한다는 뜻입니다.

4. 결론: AI 는 '도구'일 뿐, '해석자'가 될 수 없다

이 논문은 우리에게 중요한 메시지를 줍니다.

"AI 가 쓴 글이 문법적으로 완벽하고 단어는 비슷하다고 해서, 그 글이 '진짜 뜻'을 담고 있다고 믿어서는 안 됩니다."

• 비유: AI 는 완벽한 모방 예술가일 뿐입니다. 화가가 그린 그림을 아주 잘 따라 그릴 수는 있지만, 화가가 그 그림에 담았던 고통, 사랑, 역사적 배경을 그 모방 예술가가 진심으로 느끼지는 못합니다.
• 제안: AI 를 쓸 때는 **"이게 통계적으로 비슷한가?"**가 아니라 **"이게 인간의 맥락과 경험을 제대로 반영했는가?"**를 사람이 직접 점검해야 합니다. ICR 같은 방법은 바로 그 '진짜 뜻'을 검증하는 나침반이 되어줄 것입니다.

한 줄 요약:
AI 는 단어의 모양은 완벽하게 흉내 내지만, 그 뒤에 숨은 **영혼 (맥락과 뜻)**은 아직 이해하지 못합니다. 그러니 AI 가 만든 글을 볼 때는 사람의 눈으로 '진짜 뜻'을 다시 한번 확인해야 합니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 의미의 유동성과 맥락 의존성: 인간의 언어에서 의미는 고정된 단어와 개념의 상호작용이 아니라, 기호 (sign), 관계, 맥락에 따라 역동적으로 생성됩니다. (예: 에드거 앨런 포의 시 '까마귀'에서 'Nevermore'라는 단어는 문맥에 따라 다른 개념적 의미 (signified) 를 가짐).
• LLM 평가 지표의 한계: 현재 대규모 언어 모델 (LLM) 은 주로 자동화된 지표 (ROUGE, BLEU, BERTScore 등) 를 통해 평가됩니다. 이러한 지표들은 단어 (기호자, signifier) 를 정적이고 맥락 독립적인 단위로 간주하여 통계적 유사성이나 표면적인 어휘 중첩을 측정합니다.
• 핵심 문제: 자동화된 지표는 다의성 (polysemy), 맥락적 변화, 수사적 의도, 문화적 뉘앙스 등을 포착하지 못합니다. 그 결과, LLM 이 생성한 텍스트가 표면적으로는 유사해 보일지라도 실제 의미 (signified) 와 진정성 (truthfulness) 에서 인간 해석과 괴리될 수 있음에도 불구하고 높은 점수를 받는 문제가 발생합니다. 즉, LLM 은 언어를 '시뮬레이션'할 뿐 진정한 '이해'를 하지 못한다는 점입니다.

2. 방법론 (Methodology)

이 연구는 유도적 개념 평가 (Inductive Conceptual Rating, ICR) 라는 새로운 평가 지표를 제안하며, 이를 검증하기 위해 혼합 방법론 (Mixed-methods) 을 적용했습니다.

A. ICR 지표의 이론적 기반

• 기호학 (Semiotics) 및 해석학 (Hermeneutics) 통합: 언어를 고정된 입력 - 출력 관계가 아닌, 맥락과 해석에 의해 구성되는 관계적 시스템으로 봅니다.
• 이중 분석 프로세스:
  1. 반성적 주제 분석 (Reflective Thematic Analysis, RTA): 참조 데이터 (Golden Dataset) 에 대해 인간 연구자가 수행합니다. 데이터 숙지, 초기 코딩, 주제 식별, 주제 정의를 통해 인간이 구성한 의미의 기준선 (Baseline) 을 마련합니다.
  2. 유도적 내용 분석 (Inductive Content Analysis, ICA): LLM 생성 출력물과 인간 기준선 (RTA) 에 대해 각각 독립적으로 수행합니다. 사전 정의된 코드가 아닌, 데이터에서 자연스럽게 나타나는 개념과 기호를 유도적으로 도출합니다.
• 비교 및 정량화: ICA 를 통해 도출된 LLM 의 개념과 인간 기준선 (RTA) 의 주제를 비교하여 의미의 일치, 왜곡, 누락, 허구 (Hallucination) 를 식별합니다. 이를 바탕으로 ICR 점수 (0~1) 를 산출합니다.
  • True Positives (TP): 인간 기준선의 개념을 정확히 포착.
  • False Negatives (FN): 인간 기준선의 핵심 개념 누락.
  • False Positives (FP): 인간 데이터에 없는 개념의 추가 (허구).
  • True Negatives (TN): 관련 없는 개념의 올바른 배제.

B. 실증 연구 설계

• 데이터셋: 직장에 대한 인식 (perceptions of work) 에 관한 개방형 설문 응답 5 개 (N=50, 100, 200, 400, 800).
• 모델: Sonnet 3.5 와 Nova Pro 두 가지 LLM 사용.
• 과제: 각 데이터셋에 대해 3 개의 주제 (Theme) 와 3~4 문장 요약 생성 (JSON 형식).
• 비교 대상: 인간 연구자가 수행한 RTA 결과 (Ground Truth) 와 LLM 생성 결과 비교.
• 평가 지표:
  • 언어적 유사성: Cosine Similarity, BERTScore, F1 Score.
  • 의미적 정확도: 제안된 ICR 점수.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크 (ICR) 제안: 기존의 통계적/자동화 지표의 한계를 보완하기 위해 기호학과 해석학을 기반으로 한 정성적 - 정량적 하이브리드 평가 지표인 ICR 을 개발했습니다. 이는 의미의 '시뮬레이션'과 '실제화 (actualization)'를 구분하는 데 초점을 맞춥니다.
2. 기호학적 관점의 도입: LLM 평가에 '기호자 (Signifier, 단어)'와 '기호된 것 (Signified, 의미)'의 관계를 명시적으로 고려하여, 맥락 의존적 의미 변화를 포착할 수 있는 이론적 틀을 마련했습니다.
3. 실증적 검증: 다양한 데이터 크기 (N=50~800) 와 모델에서 ICR 을 적용하여, LLM 이 언어적 유사성은 높지만 의미적 정확도 (Semantic Accuracy) 는 인간보다 낮음을 입증했습니다.
4. 인간 해석의 중요성 강조: 데이터 양이 증가하면 LLM 성능이 개선되지만, 인간 수준의 해석적 일관성 (Interpretive Coherence) 에는 도달하지 못함을 보여주며, 의미 평가에 인간 전문가의 개입이 필수적임을 주장했습니다.

4. 연구 결과 (Results)

• 언어적 유사성 vs. 의미적 정확도의 괴리:
  • 모든 데이터셋에서 LLM 은 높은 Cosine Similarity 와 F1 점수를 기록했으나, ICR 점수는 인간 (RTA) 에 비해 현저히 낮았습니다.
  • 예: N=50 데이터셋에서 인간 ICR 은 1.00 이었으나, LLM 들은 0.69 수준에 그쳤습니다.
• 데이터 크기의 영향:
  • 데이터 양이 증가할수록 (N=800) LLM 의 ICR 점수는 상승했습니다 (Sonnet 3.5: 0.65, Nova Pro: 0.76).
  • 그러나 가장 큰 데이터셋에서도 인간 (0.93) 에 비해 여전히 의미적 정합성 (Semantic Alignment) 에서 격차가 존재했습니다.
• 모델 간 차이:
  • Sonnet 3.5 는 언어적 지표에서는 우수했으나, 의미적 정확도 (ICR) 에서는 Nova Pro 보다 낮거나 변동성이 컸습니다. 이는 모델의 최신성이나 아키텍처 복잡도가 반드시 의미 생성의 정확성을 보장하지 않음을 시사합니다.
• 주요 발견: LLM 은 어휘 패턴과 주제 중첩 (Lexical/Topical Overlap) 을 잘 모방하지만, 관계적 추론, 맥락적 기반, 그리고 유동적인 개념 구조를 이해하는 데에는 한계가 있음을 확인했습니다.

5. 의의 및 시사점 (Significance)

• 평가 패러다임의 전환: LLM 생성물의 품질을 평가할 때 '표면적 유사성'이 아닌 '의미의 진정성 (Truthfulness)'과 '맥락적 정확성'을 중시해야 함을 강조합니다.
• 에피스테몰로지적 함의: LLM 은 통계적 확률에 기반하여 기호 시스템을 변형할 뿐, 역사적, 문화적, 경험적 맥락을 가진 진정한 의미 이해 (Hermeneutic Understanding) 는 불가능함을 보여줍니다. 따라서 GenAI 는 '의미 생성자'가 아닌 '패턴 탐지 도구'로 위치해야 합니다.
• 실무적 적용: 고위험 분야 (의료, 법률, 정책 등) 나 정성적 분석이 필요한 영역에서는 자동화된 지표만 의존해서는 안 되며, ICR 과 같은 인간 기반의 해석적 검증 프로세스를 도입해야 합니다.
• 미래 연구 방향: ICR 은 도메인 중립적 (Domain-agnostic) 이지만, 구체적인 분야 (법률, 임상 등) 에 적용 시 해당 분야의 전문성을 갖춘 인간 코더의 기준선 (Baseline) 구축이 필수적임을 강조합니다.

결론적으로, 이 논문은 LLM 이 언어를 완벽하게 시뮬레이션할 수는 있으나, 인간의 해석적 유연성과 맥락적 깊이를 가진 '의미'를 생성하는 데는 본질적인 한계가 있음을 ICR 지표를 통해 정량화하고, 이에 대한 새로운 평가 기준을 제시했다는 점에서 의의가 큽니다.