When Readability and Source Retention Diverge: An Evaluability Gap in AI Translation

기술 요약: 가독성과 원문 보존의 괴리: AI 번역에서의 평가 가능성 간극

문제 제기
본 논문은 대규모 언어 모델(LLM) 기반 번역에서 발생하는 핵심적인 긴장 관계, 즉 출력물의 가독성과 원문 충실도 사이의 잠재적 괴리 문제를 다룬다. 초기 기계 번번역은 종종 부자연스러운 문장 생성(disfluency)으로 비판받았으나, 현대의 LLM은 매우 유창한 텍스트를 생성하므로 유창함은 더 이상 품질을 진단하는 지표가 되기 어렵다. 저자들은 "가독성 지향적" 생성(읽기 쉬움을 위해 텍스트를 단순화하는 것)이 "충실도"(원문의 의미를 보존하는 것)를 희생시킬 수 있다고 상정한다. 이는 "평가 가능성 간극(evaluability gap)"을 만들어낸다. 즉, 사용자가 원문을 볼 수 있는 상태임에도 불구하고, 전체적인 품질 판단이 출력이 원문의 내용을 얼마나 유지하거나 변경했는지에 대한 정도를 제대로 반영하지 못할 수 있다는 것이다. 이러한 간극은 사용자가 개인적인 텍스트를 번역 시스템에 제출하는 경우가 많아, 인터페이스가 신뢰와 데이터 제공 의지를 결정하는 공시 메커니즘이 된다는 점에서 특히 우려스럽다.

연구 방법론
본 연구는 "TransLingo"라는 이름의 프로토타입 웹 인터페이스를 사용하여 2×2 피험자 간 실험 설계($N=306$)를 채택하였다.

• 요인:
  1. 원문 텍스트 조건: 단순(현대적 LLM 생성 서사 산문) vs 복잡(19세기 문학-철학적 산문인 명상록).
  2. 출력 렌더링: 가독성 지향(읽기 쉬움을 우선하도록 LLM이 생성) vs 충실도 지향(가독성을 유지하면서 원문 보존을 우선하도록 연구자가 수정).
• 절차: 참가자들은 영어 원문과 그에 대응하는 영어 번역본(중국어를 중간 단계로 거침)을 관찰하였다. 참가자들은 인지된 품질, 인지된 시스템 지능, 행위 주체성 중심의 의인화, 과업 수행 신뢰도, 그리고 6개 영역(예: 취향, 업무, 경제적 상태)에 걸친 개인 정보 공개 의지를 평가하였다.
• 자극물 감사(Audit): 사용자 연구 전, 저자들은 Flesch 읽기 쉬움 이득($\Delta$Flesch), 내용어 Jaccard 중첩, BERTScore, COMET 등의 지표를 사용하여 준비된 출력물에 대한 정량적 감사를 실시하였다. 이 감사는 충실도 지향적 출력물이 두 조건 모두에서 가독성 지향적 출력보다 유의미하게 더 많은 원문 내용을 보존하고 있음을 확인해주었다.
• 분석: 연구는 렌더링과 원문 복잡도 사이의 상호작용 효과를 테스트하기 위해 2×2 요인 분산 분석(ANOVA)을 활용하였다. 또한, 인지된 품질, 지능, 의인화, 신뢰, 공개 의지 사이의 동시적 연관성을 규명하기 위해 이론적 순서에 따른 구조 방정식 모델(SEM)을 추정하였다.

주요 결과

1. 평가 가능성 간극: 출력 렌더링과 원문 텍스트 조건 사이에서 인지된 품질에 대한 유의미한 상호작용이 발견되었다.
   • 단순 원문: 참가자들은 가독성 지향적 출력보다 충실도 지향적 출력을 유의미하게 높게 평가하였다. 이는 원문 보존의 차이를 성공적으로 반영한 전체적 평가였다.
   • 복잡한 원문: 감사를 통해 충실도 지향적 출력이 훨씬 더 많은 원문 내용을 보존했음이 확인되었음에도 불구하고, 두 렌더링 간의 인지된 품질 차이는 신뢰할 만한 수준으로 나타나지 않았다. 즉, 원문의 가시성이 사용자의 전체적인 품질 판단이 내용 보존의 차이를 반영하도록 보장하지 못했다.
2. 시스템 평가: 동일한 상호작용 패턴이 시스템 수준의 평가에서도 확장되어 나타났다. 단순 원문의 경우, 충실도 지향적 출력은 인지된 지능, 행위 주체성 중심의 의인화, 과업 수행 신뢰도에서 더 높은 평가를 받았다. 복잡한 원문의 경우, 이러한 구성 개념들에 대해 신뢰할 만한 렌더링 차이가 관찰되지 않았다.
3. 공개 의지: 결정적으로, 어떤 6개 개인 정보 영역에서도 렌더링과 원문 조건 간의 유의미한 상호작용은 발견되지 않았다. 충실도 지향적 출력이 단순 텍스트에 대해 더 높은 품질과 신뢰도를 얻었음에도 불구하고, 이것이 개인 정보 공개 의지의 측정 가능한 증가로 이어지지는 않았다.
4. 구조적 연관성 (SEM): 평가 구조 모델은 다음과 같은 특정 경로를 드러냈다: 인지된 품질 $\rightarrow$ 인지된 지능 $\rightarrow$ (의인화 및 신뢰) $\rightarrow$ 정보 공개 의지. 신뢰는 모든 영역에서 공개 의지의 근접 상관 변수였다. 그러나 모델이 시사하는 출력 렌더링과 공개 의지 사이의 간접적 연관성은 단순 원문의 경우 작았으며, 복잡한 원문의 경우 무시할 만한 수준이었다.

주요 기여

1. 원문 가시성과 원문 평가 가능성의 구분: 본 연구는 원문을 함께 보여주는 것만으로는 사용자가 출력물이 무엇을 보존했는지 평가하는 데 충분하지 않음을 입증하였다. 특히 원문이 복잡할 때 그러하다. 원문에 대한 접근과 번역의 충실도에 대한 평가 가능성 사이에는 간극이 존재한다.
2. 이론적 순서에 따른 평가 구조: 본 논문은 아바타나 음성이 없는 평문 인터페이스에서 사용자가 번역 시스템을 어떻게 평가하는지에 대한 구조적 설명을 제공한다. 인지된 품질이 인지된 지능을 유도하고, 이것이 다시 의인화 귀속과 신뢰에 영향을 미치며, 신뢰가 공개 의지의 주요 동인이 된다는 점을 확립하였다.
3. 출력 평가와 정보 위탁의 분리: 연구 결과는 번역 출력물을 평가하는 것과 어떤 개인적 텍스트를 시스템에 맡길지 결정하는 것이 서로 다른 문제임을 시사한다. 특정 렌더링(예: 충실도 지향)에 대한 인지된 품질이나 신뢰도의 개선이 사용자의 개인 정보 공개 의지를 신뢰할 만하게 변화시키지 못했다는 점은, 품질 평가를 위한 인터페이스 지원과 데이터 처리 투명성 지원이 별개의 디자인 개입이 필요함을 나타낸다.

의의 및 주장
저자들은 자신들의 연구 결과가 현재의 원문 가시적 번역 인터페이스의 한계를 드러낸다고 주장한다. 즉, 화면에 원문 증거를 배치하는 것이 사용자의 전체적인 판단이 내용 보존의 차이를 반영하도록 보장하지는 못하며, 특히 복잡한 텍스트의 경우 더욱 그러하다. 따라서 본 논문은 "원문 연결 변경 정보"(사용자가 무엇이 변했는지 알 수 있게 돕는 것)와 "데이터 처리 정보"(사용자가 무엇을 제출할지 결정하도록 돕는 것)는 서로 다른 사용자 결정을 다루며, 별개의 인터페이스 디자인 문제로서 평가되어야 한다고 주장한다. 본 연구는 인간 참여형(human-in-the-loop) 평가나 LLM 최적화에서 전체적인 선호도나 가독성에 의존하는 것이, 사용자가 복잡한 원문의 경우 내용 손실을 감지하지 못할 수 있기 때문에 의도치 않게 원문 충실도를 희생하는 출력을 선호하게 만들 수 있다고 경고한다.