Language-free Experience at Expo 2025 Osaka

"2025 년 오사카·간사이 만국박람회에서의 언어 장벽 없는 경험"에 대한 상세한 기술 요약으로, 문제 제기, 방법론, 주요 기여, 결과, 그리고 의의 순서로 구성되었습니다.

1. 문제 제기

이 논문은 동시통역의 핵심적인 과제, 즉 지연 시간 (속도) 과 번역 품질 사이의 트레이드오프를 다룹니다.

• 인간의 한계: 인간 통역사는 높은 인지적 부담, 시간 제약, 전문 용어 또는 언어적 차이로 인한 어려움을 겪으며, 이로 인해 많은 일상적 시나리오에서 이용이 불가능합니다.
• 기계 번역 (MT) 의 한계: 신경망 기계 번역 (NMT) 이 문서 번역을 개선했음에도 불구하고, 실시간 구어 번역은 화자가 여전히 말하고 있는 동안 번역을 수행해야 합니다.
  • 즉시 번역 (낮은 지연 시간) 은 문맥 부족으로 인해 종종 품질이 낮아집니다.
  • 완전한 문장을 기다리는 것 (높은 품질) 은 상당한 지연을 초래하여 대화의 흐름을 방해합니다.
• 목표: 2025 년 오사카·간사이 만국박람회에서 지원되는 15 개 언어에 대해 "언어 장벽 없는" 경험을 가능하게 하는 낮은 지연 시간을 유지하면서 번역 품질을 희생하지 않는 시스템을 개발하는 것입니다.

2. 방법론

국립 정보통신 연구소 (NICT) 는 고급 데이터 자원, 분할 기법, 문맥 인식, 그리고 다중 엔진 선택을 통합한 포괄적인 시스템을 개발했습니다.

A. 언어 자원

견고한 모델을 훈련시키기 위해 NICT 는 특정 말뭉치를 구축했습니다:

• 기본 대화 말뭉치: 다양한 도메인을 포괄하기 위해 인간이 번역한 시뮬레이션 대화 (예: 의료, 관광) 로 구성되었습니다.
• 동시통역 말뭉치: 인간 통역사가 원문을 **의미 단편 (semantic chunks)**으로 나누고 순차적으로 번역하도록 하여 구축된 고유한 데이터셋입니다. 이는 인간 동시통역의 인지 과정을 모방하여 분할 및 번역 모델 훈련을 위한 기준 (ground truth) 을 제공합니다.

B. 입력 분할 (핵심 혁신)

이 시스템은 온라인 청크 기반 분할을 사용하여 자동 음성 인식 (ASR) 과 기계 번역 (MT) 간의 간극을 메웁니다:

• 청크화: 완전한 문장을 기다리는 대신, 시스템을 음성을 "청크" (몇 단어로 이루어진 짧은 의미 단위) 로 분할합니다.
• 재귀 신경망: 모델이 입력을 단어 단위로 처리하며 청크 또는 문장의 경계를 예측합니다. 특정 언어에 최적화하기 위해 경계 존재 여부를 결정하기 위해 $N$개의 미래 단어를 가변적으로 고려합니다.
• 이중 레벨 처리: 시스템은 청크 레벨 모델 (낮은 지연 시간의 초기 번역용) 과 문장 레벨 모델 (완전한 문장이 완료된 후 고정밀 재번역용) 을 모두 사용합니다.

C. 문맥 처리

자연스러움과 정확도를 향상시키기 위해 시스템은 대화 인식 문맥을 통합합니다:

• 문맥 태그: 훈련 데이터에 화자 유형 (일본인/외국인), 장면 (의료, 비즈니스 등), 주제, 성별에 대한 태그가 추가됩니다.
• 교차 문장 기억: 시스템은 이전 발화와 그 번역을 기억하여 현재 문장의 모호성을 해결하고 용어와 흐름의 일관성을 보장합니다.

D. 다중 엔진 번역 및 선택

시스템은 병렬로 실행되는 다중 엔진 아키텍처를 사용합니다:

1. GPMT: 범용 NMT 모델.
2. TSEG: 문맥 태그를 포함한 동시통역 말뭉치로 훈련된 도메인 적응 모델.
3. UNIV: 32×31 개의 언어 쌍을 처리하는 범용 모델.
4. RWKV: 우수한 문맥 이해를 위한 대규모 언어 모델 (LLM) 접근법.

• 선택 메커니즘: 시스템은 역번역을 사용하여 최상의 출력을 선택합니다. 각 엔진의 출력을 원본 언어로 역번역한 후, 원본 입력과 역번역 결과 간의 코사인 유사도를 계산합니다. 유사도 점수가 가장 높은 엔진이 최종 출력으로 선택됩니다.

3. 주요 기여

1. 청크 기반 입력 분할: 음성을 문장보다 짧은 의미 청크로 분할하는 새로운 온라인 분할 기법으로, 번역 시작 전 대기 시간을 크게 단축합니다.
2. 동시통역 말뭉치: 인간 통역사가 원문을 순차적으로 분할하고 번역한 전용 데이터셋을 구축하여, 낮은 지연 시간 모델 훈련을 위한 황금 표준 (gold standard) 역할을 합니다.
3. 대화 인식 문맥화: 모호성을 처리하고 대화 흐름을 유지하기 위해 화자, 장면, 대화 기록 태그를 번역 모델에 통합합니다.
4. 하이브리드 엔진 선택: 역번역 유사도를 사용하여 실시간으로 여러 NMT 및 LLM 엔진 중 최적의 번역을 선택하는 동적 선택 프레임워크입니다.
5. 실제 배포: 이러한 기술들을 15 개 언어를 포괄하는 2025 년 오사카·간사이 만국박람회의 라이브 서비스에 성공적으로 통합했습니다.

4. 결과

시스템은 BLEU 점수와 분할 길이 분석을 통해 평가되었습니다:

• 지연 시간 감소: 청크 기반 분할은 문장 수준 분할에 비해 평균 분할 길이를 **20% 에서 60%**까지 줄였습니다. 일본어의 경우 평균 분할 길이가 23.6 단어에서 7.8 단어로 감소하여 (39% 감소), 훨씬 더 빠른 정보 전달이 가능해졌습니다.
• 번역 품질:
  • 문맥적 이점: 문맥 태그 (TSEG-S) 를 추가한 결과 범용 모델 (GPMT) 대비 BLEU 점수가 평균 3.03 점 향상되었습니다. 아시아 언어에서 현저한 개선이 관찰되었습니다 (예: 크메르어 +6.78, 필리핀어 +5.77).
  • 분할 이점: 온라인 분할 기법 (TSEG-S) 은 고정 길이 분할 (BASE) 보다 10.84 BLEU 점 더 우수한 성능을 보였습니다.
  • 청크 대 문장 트레이드오프: 청크 기반 번역 (TSEG-C) 은 문장 기반 번역 (TSEG-S) 보다 BLEU 점수가 3.68 점 낮았지만, 고정 길이 기준선보다는 훨씬 우수했습니다. 이는 지능형 청크화가 품질 손실을 최소화하면서 속도를 극대화함을 확인시켜 줍니다.
• 엔진 선택: 역번역 유사도 지표는 특정 입력에 대해 최상의 엔진 (종종 LLM 기반 RWKV 또는 문맥 인식 TSEG) 을 성공적으로 식별했습니다.

5. 의의

• 실용적 적용: 이 논문은 대규모 공공 행사에서 고품질 저지연 자동 동시통역이 실현 가능함을 입증합니다.
• 2025 년 만국박람회 영향: 이 기술들은 2025 년 오사카·간사이 만국박람회의 여러 서비스에 배포되었습니다:
  • "EXPO 번역" (1 대 1 번역 앱).
  • "EXPO 번역 원격" (가이드 투어).
  • 세미나용 실시간 자막 시스템.
  • 가상 채팅 및 아바타 상호작용 부스.
• 미래 구현: 이 프로젝트는 연구에서 실용적 유용성으로 이동하는 AI 번역의 "사회적 구현"을 위한 촉매제 역할을 합니다. 이는 글로벌 의사소통, 재난 대응, 관광 분야에서 언어 장벽을 극복하기 위한 프레임워크를 확립하여, 진정한 언어 장벽 없는 사회로의 길을 마련합니다.