PSK at WMT 2026 MIST: Task-Specialized QLoRA Adapters for Multilingual Summarization and Question Answering

인공지능 분야가 급격히 발전함에 따라, 연구자들은 컴퓨터가 전 세계의 다양한 인간 언어를 이해하고 생성할 수 있도록 가르치기 위해 끊임없이 노력하고 있습니다. 이 작업의 핵심 과제는 긴 기사를 요약하거나 특정 질문에 답하는 것과 같은 수많은 서로 다른 작업을 수행할 때, 모든 작업마다 별도의 거대한 컴퓨터 두뇌를 필요로 하지 않는 모델을 만드는 것입니다. 목표는 일반적인 하드웨어에서 실행할 수 있을 만큼 효율적이면서도, 힌디어, 영어, 요루바어와 같은 언어 사이를, 그리고 요약문을 쓰거나 수수께끼를 푸는 것과 같은 작업 사이를 유연하게 전환할 수 있는 시스템을 만드는 것입니다. 이 균형은 매우 중요한데, 강력한 언어 모델들이 존재하기는 하지만, 그것들은 종종 일상적인 사용이나 특정 지역적 필요를 충족하기에는 너무 커서 실용적이지 못하기 때문입니다. 최근 연구를 이끄는 질문은, 새로운 문제마다 거대한 새 기계를 만드는 대신, 작은 특화된 도구들을 핵심 모델에 부착함으로써 하나의 더 작은 모델이 많은 일을 잘 해내도록 가르칠 수 있는지 여부입니다.

최근 한 독립 연구팀이 수십 개의 언어로 명령을 얼마나 잘 따르는지를 테스트하도록 설계된 주요 국제 경진대회에 참가하여 이 과제에 도전했습니다. 그들의 접근 방식은 하나의 핵심 언어 모델에 세 가지의 뚜렷하고 가벼운 추가 구성 요소를 부착하는 특정 전략에 의존했습니다. 이 핵심 모델을 70개 언어의 문법과 어휘를 알고 있는 다재다능한 다국어 엔진이라고 상상해 보십시오. 이 엔진 자체는 일반적인 대화에는 능숙하지만, 과학적 초록을 작성하거나 긴 텍스트 안에 숨겨진 답을 찾는 것과 같이 구체적이고 구조화된 업무를 수행하도록 요청받으면 어려움을 겪습니다. 이를 해결하기 위해 연구진은 세 개의 별도 '어댑터'를 구축했는데, 이들은 본질적으로 작고 특화된 훈련 모듈입니다. 한 어댑터는 문서 요약을 학습했고, 다른 하나는 제공된 텍스트를 바탕으로 질문에 답하는 법을 배웠으며, 세 번째는 일반 지식을 바탕으로 개방형 질문에 답하는 법을 배웠습니다.

연구진은 약 33.5억 개의 파라미터(모델의 복잡성과 용량을 측정하는 척도)를 포함하고 있는 Tiny Aya Global이라는 모델로 시작했습니다. 이 크기는 시스템이 100억 개의 파라미터 임계값 미만으로 유지되어야 한다는 경진대회의 엄격한 제한 사항을 충족하기 위해 특별히 선택되었습니다. 거대한 모델 전체를 처음부터 다시 훈련시키는 것은 매우 느리고 비용이 많이 들기 때문에, 그들은 QLoRA라고 불리는 기술을 사용했습니다. 이 방법은 메인 모델을 고정(freeze)시킨 채 아주 작은 특화 어댑터들만 훈련할 수 있게 해줍니다. 그들은 서로 다른 데이터 세트를 사용하여 이 어댑터들을 준비했습니다. 요약 도구의 경우, 전체 텍스트와 저자가 작성한 초록을 쌍으로 묶은 일반 뉴스 기사와 과학 논문의 혼합물을 입력했습니다. 질문 답변 도구의 경우, 여러 언어로 된 질문과 답변을 포함하며, 일부는 여러 문장에 걸친 정보를 연결해야 하는 데이터 세트를 사용했습니다.

연구팀이 시스템을 테스트했을 때, 작업을 분리하는 것이 모든 것을 한꺼번에 가르치려고 시도하는 것보다 훨씬 효과적이라는 것을 발견했습니다. 그들은 처음에 모든 데이터를 혼합하여 훈련된 단일 '멀티태스크(다중 작업)' 어댑터를 시도했으나, 이 방식은 더 약한 결과를 냈습니다. 반면, 세 개의 별도 어댑터를 갖춘 시스템은 명확한 개선을 보여주었습니다. 일반 및 과학 텍text 모두로 훈련된 요약 어댑터는 멀티태스크 버전보다 인간이 작성한 예시와 훨씬 더 유사한 요약문을 생성했습니다. 마찬가지로, 문맥 기반 질문에 특화되어 훈련된 질문 답변 어댑터는 텍스트 내에서 올바른 답을 찾는 데 더 뛰어난 성능을 보였습니다. 연구진은 개방형 질문 답변 작업이 더 예측 불가능하다고 언급했습니다. 즉, 한 버전의 어댑터는 컴퓨터 생성 점수에서는 더 높은 성능을 보였지만, 다른 버전은 공간이 부족하거나 반복되는 문제 없이 더 길고 복합적인 질문을 처리하는 데 더 나았습니다.

시스템의 견고함을 보장하기 위해 연구진은 모델이 이전에 본 적 없는 '홀드아웃(held-out)' 예시 세트로 테스트를 진행했습니다. 그들은 컴퓨터의 출력이 인간의 답변과 단어 하나하나까지 얼마나 일치하는지, 그리고 전체적인 의미가 얼마나 유사한지를 포함한 몇 가지 표준적인 방법을 사용하여 성공 여부를 측정했습니다. 결과는 그들의 특화된 접근 방식이 테스트된 24개 언어 대부분에서 성능을 향상시켰음을 보여주었습니다. 요약의 경우, 시스템은 모든 언어에서 출력 품질을 개선했습니다. 문맥 기반 질문의 경우, 테스트된 25개 언어 중 19개 언어에서 성능이 향상되었습니다. 개방형 질문은 가장 어려운 영역으로 남았으며, 결과는 질문의 길이와 답변을 판단하는 방법에 따라 달랐습니다. 이러한 불확실성 때문에 팀은 동일하게 강력한 요약 및 문맥 답변 도구를 사용하되, 개방형 질문에 대해서는 각기 다른 전략을 사용하는 세 가지 버전의 시스템을 경진대회에 제출하기로 결정했습니다.

이 연구는 효율적인 다국어 AI를 구축하기 위한 실질적인 경로를 강조합니다. 단일하고 공유된 토대를 유지하면서 작고 작업별로 특화된 도구를 추가함으로써, 연구진은 방대한 계산 자원을 요구하지 않고도 '일률적인(one-size-fits-all)' 접근 방식보다 뛰어난 성능을 보이는 시스템을 만들 수 있었습니다. 그들은 과학 논문을 요약하거나 텍스트를 바탕으로 질문에 답하는 것과 같은 작업에 있어서는 전문화가 핵심이라는 점을 입증했습니다. 그러나 그들은 또한 개방형 생성 작업이 자동 채점 방식이 인간의 판단과 항상 일치하지는 않는 복잡한 과제로 남아 있음을 인정했습니다. 이 연구는 우리가 아직 완벽한 범용 답변 생성기를 갖추지는 못했을지라도, 특정 영역 내에서 잘 작동하는 매우 효과적이고 특화된 도구를 구축할 수 있으며, 이는 전 세계의 수많은 언어를 가로질러 기술과 상호작용하는 더 신뢰할 수 있고 효율적인 방법을 제공한다는 것을 시사합니다.