Efficient Multilingual Dialogue Processing via Translation Pipelines and Distilled Language Models

기술 요약: 번역 파이프라인 및 증류된 언어 모델을 통한 효율적인 다국어 대화 처리

문제 정의
다국어 대화 이해는 특히 저자원 인디(Indic) 언어에 있어 상당한 과제를 안겨줍니다. 거대 언어 모델(LLM)은 영어에서 인상적인 능력을 보여주었으나, 깊은 문맥 이해, 화자 턴 추적, 담화 구조 분석이 필요한 대화 데이터를 처리하는 데 있어서는 타 언어에서의 성능이 여전히 제한적입니다. 기존의 다국어 모델들은 다양한 인디 언어 전반에서 일관성과 견고함을 유지하는 데 어려움을 겪는 경우가 많으며, 학습 데이터의 품질 또한 불확실할 수 있습니다. 더욱이, 직접적인 다국어 접근 방식은 훈련 코퍼스 규모와 평가 벤치마크의 차이로 인해 전문화된 영어 중심 모델의 성능을 따라잡지 못하는 경우가 많습니다.

방법론
Team Kl33x는 8개의 인디 언어(마라티어, 칸나다어, 구자라트어, 텔루구어, 타밀어, 벵골어, 힌디어, 아삼어)와 영어를 대상으로 대화의 요약 및 질의응답을 생성하기 위해 설계된 NLPAI4Health 2025 공유 태스크용 3단계 파이프라인 시스템을 개발했습니다. 이 시스템은 특정 작업을 위해 다국어 모델을 직접 미세 조정(fine-tuning)하는 방식을 피하는데, 이는 초기 실험에서 사실적 일관성을 유지하고 의학 용어를 처리하는 데 불충분했기 때문입니다. 대신, 이 아키텍처는 "선(先) 번역" 전략을 채택합니다:

1. 순방향 번역 (Forward Translation): 대화 내용을 prajdabre/rotary-indictrans2-indic-en-dist-200M를 사용하여 영어로 번로합니다. IndicTrans2 아키텍처를 기반으로 하는 이 모델은 로터리 위치 임베딩(RoPE)을 활용하며, 고품질 번역을 보장하기 위해 인디-영어 쌍에 특화되어 최적화되었습니다.
2. 멀티태스크 생성 (Multitask Generation): 영어 텍스트는 Qwen3-4B-Instruct 모델의 증류 버전(unsloth/Qwen3-4B-Instruct-250-unsloth-bnb-4bit)에 의해 처리됩니다. 이 모델은 지식 증류를 통해 25.5억 개의 파라미터로 압축되었으며 4비트로 양자화되었습니다. 이 모델은 작업별 프롬프팅을 통해 세 가지 뚜렷한 작업—서사적 요약(narrative summarization), 구조적 요약(structured summarization), 질의응답(question answering)—을 수행합니다. 이 모델의 핵심 특징은 최대 약 256k 토큰에 달하는 거대한 문맥 창(context window)으로, 전체 임상 대화를 단 한 번의 순방향 패스로 처리하여 절단(truncation) 없이 담화의 일관성과 사실적 일관성을 보존할 수 있습니다.
3. 역방향 번역 (Reverse Translation): 생성된 영어 출력물은 순방향 번역 아키텍처를 반영하는 prajdabre/rotary-indictrans2-en-indic-dist-200M를 사용하여 다시 원본 인디 언어로 번역됩니다.

시스템은 결정론적 출력을 위해 탐욕 디코딩(greedy decoding)을 사용하며, 화자 속성, 턴 경계, 언어 토큰화를 처리하는 전처리 파이프라인을 통해 데이터를 처리합니다.

핵심 기여

• 증류된 모델의 효율성: 본 논문은 25.5억 개의 파라미터를 가진 콤팩트한 증류 모델이 9개 언어에 대해 매우 경쟁력 있는 성능을 달ни면서도, 여러 전문 모델이나 더 큰 LLM을 로드하는 것에 비해 계산 요구 사항(약 6GB GPU 메모리)을 크게 줄일 수 있음을 입증합니다.
• 저자원 언어를 위한 번역 기반 파이프라인: 고품질의 전문 번역 모델과 강력한 영어 중심 생성 모델을 결능하는 것이 직접적인 다국어 접근 방식보다 우수할 수 있음을 검증하며, 특히 학습 데이터의 품질이 가변적인 경우에 그러합니다.
• 문맥 인식 처리: 256k 토큰 문맥 창을 가진 모델을 활용함으로써, 의료 대화 처리 시 흔히 발생하는 슬라이딩 윈도우 전략이나 절단으로 인한 정보 손실을 방지합니다.
• 통합 아키텍처: 모든 작업(요약 및 QA)에 대해 단일 인스트럭션 튜닝된 모델을 사용하여, 자원이 제한된 임상 환경에서의 배포 및 유지 관리를 단순화합니다.

결과
시스템은 NLPAI4Health 2025 경진대회에서 강력한 승률을 기록했으며, 특히 마라티어(86.7%), 타밀어(86.7%), 힌디어(80.0%)에 대한 질의응답(QnA)에서 견고한 성능을 보였습니다.

• 자동 메트릭: 시스템은 QnA에서 0.430.67, 서사적 요약에서 0.810.92, 구조적 요약에서 0.35~0.43의 F1 점수를 달성했습니다.
• 의미적 유사성: 모든 작업에서 높은 BERTScore(0.82–0.92)를 기록한 것은 생성된 출력과 참조 출력 간의 강력한 의미적 유사성을 나타내며, 이는 시스템이 정확한 어휘적 중복이 다르더라도 대화의 의미를 효과적으로 포착하고 있음을 시사합니다.
• 작업 민감도: 성능은 작업 유형에 따라 차이를 보였습니다. 서사적 요약은 번역 접근 방식의 혜택을 가장 많이 받았으며, 구조적 요약(key-value)은 번역 오류에 대한 견고성 덕분에 언어 간에 더 일관된 성능을 보였습니다.

의의 및 주장
본 논문은 번역 기반 접근 방식이 직접적인 다국어 모델을 사용할 수 없거나 학습 데이터의 품질이 의심스러운 경우, 특히 다국어 NLP 작업에서 여전히 유효하고 효과적인 전략임을 주장합니다. 본 연구는 콤팩트한 모델이 고품질 번역 파이프라인과 결합될 때, 더 큰 모델에 필적하는 성능을 제공하면서도 상당한 계산적 이점을 제공할 수 있음을 강조합니다. 저자들은 이 접근 방식이 번역 모델의 품질에 의해 제한될 수 있고(오류가 하류 단계로 전파됨) 지연 시간(latency)을 유발한다는 점을 언급하면서도, 노이즈가 많은 데이터에 대한 작업별 미세 조정을 수행하지 않고도 저자원 인디 언어를 처리할 수 있는 실질적인 해결책을 제공한다고 밝힙니다. 향후 연구로는 모델과 데이터셋이 개선됨에 따라 직접적인 다국어 접근 방식을 탐구하고, 번역 의존성을 줄이는 방법을 조사할 것을 제안합니다.