📄 social_science

Evaluative Cultural Hallucination in Large Language Model Assessment of Tenor in Scenic Area Public Sign Translations

이 연구는 거대 언어 모델이 경관 지역 공공 표지판 번역의 화용론적 및 사회문화적 적절성(Tenor)을 현저히 과대평가함으로써, 표면적인 격식이나 인지 가능한 참조를 진정한 문화적 적합성으로 오인하는 '평가적 문화적 환각'을 빈번하게 나타낸다는 사실을 밝혀낸다.

원저자: Qi Guo, Tengteng Yap

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qi Guo, Tengteng Yap

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

중국의 역사적인 사원이나 신성한 묘역을 걷다 보면, 당신을 안내하는 표지판들은 단순한 방향 지시 이상의 의미를 지닙니다. 그것은 단어뿐만 아니라 조상이 잠들어 있거나 신이 모셔진 장소에 대해 이야기할 때 요구되는 깊은 존경, 역사, 그리고 엄숙함을 전달하는 문화 간의 가교 역할을 합니다. 이것이 바로 공공 표지판 번역의 영역이며, 이 작업은 명확성과 문화적 감수성 사이의 섬세한 균형을 요구합니다. 수십 년 동안 전문가들은 '테너(tenor)'라는 개념을 통해 이러한 번번역들을 평가해 왔는데, 이는 필자와 독자 사이의 관계를 설명하는 개념입니다. 이는 어조가 적절한지를 묻습니다. 성스러운 장소에 너무 격식이 없는 것은 아닌가? 자연 산책로에 너무 딱딱한 것은 아닌가? 역사적 인물에 대해 적절한 수준의 존경을 보여주고 있는가? 도시와 관광지가 성장함에 따라, 이 수천 개의 표지판을 점검해야 할 필요성은 인간 전문가가 모두 검토할 수 있는 능력을 앞질렀고, 이에 따라 인공지능이 도움을 줄 수 있을지에 대한 의문이 제기되고 있습니다.

현대 챗봇의 뒤에 있는 강력한 컴퓨터 시스템인 대규모 언어 모델은 놀라운 유창함으로 읽고 쓸 수 있음을 보여주었습니다. 이들은 문법 오류를 찾아내고 더 매끄러운 표현을 제안할 수 있습니다. 하지만 말레이시아 대학교 연구진의 새로운 연구는 더 어려운 질문을 던집니다. 과연 이 기계들이 문화의 보이지 않는 무게를 이해할 수 있는가 하는 점입니다. 구체적으로, 그들은 인공지능이 정중하고 격식 있게 들리지만 실제로는 성스럽거나 역사적인 장소에 필요한 깊은 문화적 의미를 놓친 번역을 칭찬하는 실수를 범할 것인지 알고 싶었습니다. 연구진은 중국 쉬저우의 8개 주요 관광지에서 가져온 자연 안내부터 고대 무덤과 불교 사원에 이르는 116개의 이중 언어 표지판을 수집했습니다. 그들은 인간 전문가와 정교한 AI 모델에게 영어 번역이 적절한 어조와 존중을 얼마나 잘 포착했는지에 따라 점수를 매기도록 요청했습니다.

결과는 인간의 직관과 기계의 판단 사이에 상당한 격차가 있음을 드러냈습니다. 인간 전문가들은 필요한 문화적 존중을 담아내지 못했다는 이유로 많은 번역에 낮은 점수를 주었지만, AI 모델은 일관되게 높은 점수를 주었습니다. 조사된 사례 중 거의 절반에 가까운 경우에서, AI는 전문가들이 문화적으로 부적절하다고 말했음에도 불구하고 해당 번역을 높은 품질로 평가했습니다. 문제는 종교 및 의례와 관련된 표지판에서 가장 심각했습니다. 이러한 표지판의 경우, AI는 번역의 품질에 대해 65%의 사례에서 잘못된 판단을 내렸습니다. 연구진은 AI가 단순히 무작위적인 오류를 범하는 것이 아니라, 특정한 예측 가능한 오해의 패턴을 따르고 있다는 것을 발견했습니다. AI는 텍text의 표면적인 외양을 그것의 깊은 문화적 가치로 착각했습니다.

연구진이 왜 AI가 이러한 높은 점수를 주었는지 면밀히 조사했을 때, AI가 네 가지 특정 지름길에 의존하고 있다는 것을 발견했습니다. 첫째, 모델은 번역이 단순히 박물관에서 볼 법한 공식적이거나 제도적인 느낌을 준다는 이유만으로 찬사를 보내는 경우가 많았습니다. 모델은 단어가 공식적으로 들리면 문화적 존중이 빠져 있더라도 어조가 올바르다고 가정했습니다. 둘째, AI는 인지도 있는 이름을 보고 속았습니다. 번역이 역사적 인물이나 종교적 대상의 이름을 유지하고 있다면, 그 주변의 단어들이 해당 인물을 적절한 경외심으로 대우하고 있는지 여부와 상관없이 작업이 완료되었다고 가정했습니다. 셋째, 모델은 때때로 일반적인 공손함과 특정한 문화적 엄숙함을 혼동했습니다. 모델은 광범위한 의미에서 존중하는 것처럼 들리는 단어들을 보고 번역이 완벽하다고 결정하며, 구체적인 의례적 뉘xtance(미묘한 차이)가 상실된 것을 알아차리지 못했습니다. 마지막으로, AI는 정보 누락에 대해 지나치게 관대했습니다. 모델은 짧고 읽기 쉽다는 이유로, 원래의 의미에 필수적인 의례나 역사에 대한 중요한 세부 사항을 생략했음에도 불구하고 높은 점수를 주었습니다.

이 연구는 이것이 단순히 기계가 약간 틀린 문제가 아니라, 저자들이 '평가적 문화적 환각(evaluating cultural hallucination)'이라고 부르는 형태임을 시사합니다. 이는 기계가 사실을 지어낸다는 뜻이 아니라, 번역이 문화적으로 적절하지 않음에도 불구하고 적절하다고 환각을 일으키는 것을 의미합니다. 기계는 표면적인 특징들—격식 있는 단어, 인지도 있는 이름, 또는 예의 바른 어조—을 보고 문화적 요구 사항이 충족되었다고 스스로를 설득합니다. 이는 종서나 의례적인 환경의 표지판에서 특히 위험한데, 어조를 잘못 잡는 것이 무례하거나 심지어 모욕적으로 받아들여질 수 있기 때문입니다. 연구진은 AI가 어조가 덜 복잡한 자연이나 일반 정보에 관한 표지판을 판단하는 데는 훨씬 더 뛰어나다는 것을 발견했습니다. 하지만 텍스트가 성스러운 공간, 묘역, 또는 고대 의례와 관련될 때, 기계의 자신감은 오히려 약점이 되었습니다.

이 연구는 인공지능이 번역을 도울 수 없다고 말하는 것이 아닙니다. 대신, 특히 문화가 걸려 있을 때 기계의 점수를 단순히 신뢰해서는 안 된다고 경고합니다. AI는 문장이 문법적으로 맞는지 또는 이름의 철자가 맞는지 확인하는 데는 탁월하지만, 신성한 것에 대해 말할 때 지배하는 보이지 않는 존중과 위계의 규칙을 이해하는 데는 어려움을 겪습니다. 연구는 관광 지역의 표지판, 특히 역사와 종교를 다루는 경우 인간 전문가가 반드시 과정에 참여해야 한다고 결론짓습니다. 기계는 첫 번째 검토를 제공할 수는 있지만, 격식 있는 어조가 존중하는 어조와 같지 않으며, 인지도 있는 이름이 문화적으로 정확한 번역을 보장하지 않는다는 것을 이해하는 사람에 의해 그 추론이 검증되어야 합니다. 기계가 문화의 무게를 진정으로 이해할 수 있을 때까지, 이 표지판들이 그 장소를 제대로 기리고 있는지 보장하는 가장 신뢰할 수 있는 방법은 인간이 직접 통제권을 쥐는 것입니다.

기술 요약: 경관 구역 공공 표지판 번역의 화용적 태도(Tenor) 평가에 있어서 LLM의 평가적 문화적 환각 현상

문제 제기
본 연구는 House의 TQA 프레임워크 중 '태도(Tenor)' 차원과 관련하여, 대규모 언어 모델(LLM)을 번역 품질 평가(TQA)에 적용할 때 발생하는 결정적인 공백을 다룬다. LLM은 비용이 많이 드는 인간 전문가 평가의 확장 가능한 대안을 제공하지만, 사회문화적 및 화용적 적절성을 평가하는 데 있어 그 신뢰성은 여전히 불확실하다. 이는 종교적 참조, 의례적 표현, 역사적 위계가 포함되는 경우가 많은 경관 구역 공공 표지판 번역에서 특히 두드러진다. 핵심 문제는 LLM이 '평가적 문화적 환각(evaluative cultural hallucinations)'을 생성할 수 있다는 점이다. 즉, 인간 전문가가 문화적 또는 화용적으로 부적절하다고 판단하는 번역에 대해 정당한 근거 없이 지나치게 긍정적인 평가를 내리는 현상이다. 이는 사실적 환각(허위 콘텐츠 생성)과는 달리, 모델이 표면적인 텍스트 특징(예: 격식성, 인지 가능한 용어)을 심층적인 문화적·화용적 적절성의 증거로 오인하여 발생하는 현상이다.

연구 방법론
본 연구는 중국 쉬저우(Xuzhou)의 8개 4A/5A급 관광지에서 수집한 116개의 중-영 공공 표지판을 대상으로 탐색적 혼합 방법론 설계를 적용하였다. 코퍼스는 세 가지 주제 그룹으로 분류되었다: 정보/자연 표지판( $n=18$ ), 역사/고고학 표지판( $n=35$ ), 종교/의례 표지판( $n=63$ ).

이중 평가: 각 표지판은 CATTI 인증을 받은 3명의 인간 전문가와 LLM인 "GPT-5.5 Thinking"(ChatGPT 인터페이스를 통해 접속)에 의해 평가되었다. 두 평가자 모두 House의 프레임워크를 바탕으로 격식성, 사회적 거리, 공손함, 문화적 존중, 의례적 민감도에 초점을 맞춘 5점 척도(1–5)를 사용하였다.
조작적 정의: '고과대평가 사례(High-overestimation cases)'는 전문가 중앙값 점수는 $\le 2$ (명백한 태도 부적절성 의미)인 반면, LLM 점수는 $\ge 4$ (높은 적절성 의미)인 경우로 정의되었다.
질적 분석: 식별된 56개의 고과대평가 사례(전체 코퍼스의 48.3%)는 LLM이 높은 점수를 부여한 근거 패턴을 식별하기 위해 질적 코딩 과정을 거쳤다. 코딩에 대한 평가자 간 신뢰도는 상당했다 (Cohen's $\kappa = 0.84$ ).

주요 결과
본 연구는 인간과 기계의 평가 사이에서 유의미한 괴리를 발견하였으며, 이는 LLM의 체계적인 태도 품질 과대평가로 나타났다.

양적 불일치: 전문가 평균 점수는 2.33이었던 반면, LLM 평균 점수는 4.29로 나타나 +1.97의 평균 차이가 발생했다. 전체 사례의 79.3%에서 LLM 점수가 전문가 점수를 상회했다.
고과대평가 빈도: 전체 샘플의 48.3%가 고과대평가 기준을 충족했다. 이 비율은 주제 카테고리별로 유의미하게 달랐다:
- 정보/자연 표지판: 27.8%
- 역사/고고학 표지판: 28.6%
- 종교/의례 표지판: 65.1% (가장 높은 과대평가 집중도).
근거 패턴: LLM의 정당화 과정에서 나타난 '표면적 적절성 대체(surface adequacy substitution)'의 반복적인 근거 패턴을 밝히기 위한 질적 코딩 결과, 다음과 같은 네 가지 유형이 도출되었다:
1. 격식 레지스터 과의존 (83.9%): 모델은 번역이 "격식 있고", "중립적이며", "제도적"이라고 판단하여 높은 점수를 부여함으로써, 어조(tone)를 문화적 적절성으로 오인했다.
2. 의미적 인지도 대체 (69.6%): 화용적 힘이나 존중의 태도가 유지되었는지와 상관없이, 인지 가능한 명칭, 사물 또는 역사적 참조가 보존되었다는 점을 근거로 높은 점수를 부여했다.
3. 일반적 경외감 대체 (44.6%): 모델은 일반적인 의미에서 "존경스럽다"거나 "엄숙하다"고 기술하며, 일반적인 공손함과 특정한 의례적/교리적 요구 사항을 구분하지 못했다.
4. 생략 허용적 단순화 (35.7%): 모델은 간결하거나 단순화된 번역을 적절한 것으로 수용하며, 특히 종교 및 의례 맥락에서 문화적으로 중요한 세부 사항의 손실을 간과했다.

주요 기여

평가적 문화적 환각의 개념화: 본 논문은 '평가적 문화적 환각'이라는 개념을 도입하고 조작적으로 정의하였다. 이는 TQA에서의 LLM 실패를 사실적 환각과 구분하며, 이를 문화적으로 불충분한 근거에 의해 뒷받받되는 부당하게 긍정적인 판단으로 정의한다.
근거 패턴의 식별: 본 연구는 단순한 점수 불일치를 넘어, 문화적으로 민감한 텍스트를 평가할 때 LLM이 범하는 구체적인 추론 오류를 체계적으로 분류하였다. 이는 LLM이 흔히 표면적 특징(격식성, 인지도)을 심층적인 화용적 적절성과 혼동한다는 것을 보여준다.
주제별 취약성 매핑: 본 연구는 LLM의 신뢰도가 차원별로 상이함을 강조한다. LLM은 정보성 텍스트에는 적절히 수행할 수 있으나, 특정 문화적 위계와 신성한 거리에 의존하는 종교 및 의례 맥락에서는 성능이 크게 저하된다.

의의 및 주장
저자들은 본 연구의 결과가 공공 표지판 평가를 위해 LLM에 의존하는 관광 행정가, 번역가 및 평가자들에게 주의를 주는 보고서 역할을 한다고 주장한다. 본 연구는 특히 종교, 매장 문화, 또는 역사적 위계와 관련된 고위험 맥락에서 LLM의 점수와 근거를 전문가의 판단을 직접 대체하는 것으로 받아들여서는 안 된다고 주장한다.

본 논문은 식별된 근거 패턴(격식 레지스터 과의존 등)이 진단 도구로서 기능할 수 있다고 상정한다. 평가자는 LLM의 근거를 이러한 특정 지름길(shortcuts)에 대해 감사함으로써, 높은 품질 점수를 수용하기 전에 '평가적 문화적 환각'을 감지할 수 있다. 저자들은 LLM이 TQA를 위해 확장 가능한 유망한 도구이긴 하지만, 그 사용에는 일반적인 격식성이나 유창성 평가에 의존하기보다 의례적 거리와 문화적으로 표기된 존중을 명시적으로 확인하는 정교한 프롬프트와 같은 '전문가에 의해 뒷받침된, 문화적으로 민감한 안전장치'가 필요하다고 결론짓는다. 본 연구는 LLM이 보편적으로 신뢰할 수 없다고 주장하는 것이 아니라, 번역 품질의 모든 차원에서 그 신뢰도가 균일하지 않으며, 특히 문화적 밀도가 높은 텍스트에서의 '태도(Tenor)' 차원이 특정 실패 지점임을 강조한다.

유사한 논문