기술 요약: 로컬 LLM 기계 번역에서의 프롬프트 범위 및 데모니스트레이션 유사성 평가

문제 정의

전통적인 기계 번로(MT) 평가는 번역을 단일 언어 쌍 작업으로 취급하며, 시스템이 하나의 소스 문장을 하나의 타겟 언어로 번역하는 과정을 다룹니다. 그러나 대규모 언어 모델(LLM)은 사용자가 여러 타겟 언어를 동시에 요청하거나, 인컨텍스트 예시를 제공하거나, 구조화된 출력(예: JSON)을 요구할 수 있는 범용 번역 도구로서 점점 더 많이 배치되고 있습니다. 본 논문은 현재의 평가 프레임워크가 이러한 LLM 사용에 내재된 "추가적인 자유도"를 포착하지 못한다고 주장합니다. 구체적으로, 본 연구는 프롬프트 범위(단일 타겟 대 다중 타겟 패밀리 요청)와 데모니스트레이션 선택 전략(무작위, 어휘 기반, 또는 임베딩 기반 검색)이 로컬 소비자 하드웨어 기반 LLM의 성능에 유의미한 영향을 미치는지 조사합니다. 본 연구는 개인정보 보호, 비용 제어, 오프라인 사용의 중요성을 고려하여 로컬 배포에 초점을 맞추었으며, 작은 규모의 로컬 모델이 고성능 프라이머리 시스템보다 프롬프트 길이 및 구조화된 출력 제약에 더 민ellig 민감할 수 있음에 주목합니다.

방법론

실험 설계

본 연구는 영어-로망스어 및 영어-게르만어군 번호를 포함한 9개 공식 EU 언어(프랑스어, 스페인어, 이탈리아어, 포르투갈어, 루마니아어, 독일어, 네덜란드어, 덴마크어, 스웨덴어)를 대상으로 하며, 데이터 누출을 방지하기 위해 FLORES devtest 분할(1,012개 문장) 전체를 사용합니다. 데모니스트레이션은 FLORES dev 분할에서만 추출됩니다.

실험 변수는 다음과 같습니다:

1. 프롬프트 범위:
   • 단일 타겟(Single-target): 모델이 한 문장을 한 가지 언어로 번역합니다.
   • 패밀리 범위(Family-scope): 모델이 한 문장을 하나의 패밀리(로망스 또는 게르만)에 속한 모든 언어로 번로하여, FLORES 언어 코드로 키(key)가 지정된 단일 JSON 객체를 생성합니다.
2. 데모니스트레이션 선택 (Few-shot):
   • 제로샷(Zero-shot): 제공된 예시가 없음.
   • 무작위(Random): dev 세트에서 균등하게 선택된 $k=5$개의 예시.
   • 어휘 유사성(Lexical-similarity): Bag-of-token 소스 표현을 기반으로 코사인 유사도가 가장 높은 $k=5$개의 예시.
   • 임베딩 유사성(Embedding-similarity): 다국어 문장 임베딩을 기반으로 코사인 유사도가 가장 높은 $k=5$개의 예시.

모델 및 베이스라인

• 로컬 LLM: Ollama를 통해 실행되는 세 가지 인스트럭션 튜닝 모델 (온도 0): llama3.2:3b, mistral:latest, qwen2.5:14b.
• 전용 MT 베이스라인: OPUS-MT (MarianMT) 및 NLLB-200 (증류된 600M 및 1.3B 버전). 이들은 구조화된 다중 타겟 인스트럭션 수행을 위해 설계되지 않았으므로 단일 타겟 설정에서만 평가됩니다.

평가 지표

• 번역 품질: 코퍼스 수준의 chrF++, BLEU (SacreBLEU 사용), 그리고 문장 수준의 COMET.
• 준수 여부 (Family-scope 전용): 타겟 커버리지, 완전한 출력 비율, 누락된 타겟 수, 프롬프트 에코(echo) 횟수.
• 통계 분석: 최적의 로컬 LLM과 최적의 MT 베이스라인을 비교하기 위한 짝지은 부트스트랩 리샘플링(Paired bootstrap resampling) 및 p-값.

주요 결과

1. 로컬 LLM vs. 전용 MT 성능

전용 MT 시스템은 특히 독일어 계열 언어에서 성능 격차가 크게 나타나며, 전반적으로 가장 강력한 베이스라인으로 남습니다. 로컬 LLM은 특정 로망스어 타겟(특히 스페인어와 포르투갈어)에 대해 경쟁력이 있으며, qwen2.5:14b는 단일 타겟 설정에서 종종 전용 MT 성능에 근접합니다. 그러나 어떤 로컬 LLM도 모든 지표와 언어에 걸쳐 최적의 MT 베이스라인을 일관되게 능가하지 못했습니다.

2. Few-shot 프롬프팅의 영향

Few-shot 프롬프팅의 효과는 모델에 따라 매우 상이합니다:

• mistral:latest 및 qwen2.5:14b: 두 모델 모두 few-shot 프롬프팅을 통해 유의미한 성능 향상을 보였습니다. 임베딩 기반 검색이 가장 높은 평균 이득을 보였습니다 (예: mistral은 임베딩 검색 시 chrF++ +4.60, BLEU +11.03 상승).
• llama3.2:3b: 이 더 작은 모델은 모든 검색 전략에서 few-shot 프롬프팅 시 성능이 일관되게 저하되었습니다. 이는 작은 모델이 증가된 컨텍스트 길이 또는 인스트럭션 복잡성에 어려움을 겪을 수 있음을 시사합니다.

3. 검색 전략의 효용성

임베딩 기반 검색이 예시로부터 이득을 얻는 모델들에게 가장 좋은 평균 결과를 제공하지만, 무작위 또는 어휘 기반 검색과의 차이는 크지 않습니다. 결정적으로, 문장 수준 분석 결과 검색된 예시의 유사도 점수가 해당 예시가 번역 품질을 개선할지 여부를 강력하게 예측하지 못했습니다 (상관관계 0에 근접). 이는 예시가 순수하게 의미적 유사성보다는 다양한 메커니즘(포맷팅, 스타일 고정, 작업 명확화 등)을 통해 도움을 준다는 것을 시사합니다.

4. 패밀리 범위 및 구조화된 출력

패밀리 범위 프롬프팅은 구조화된 출력 준수 여부에 대한 스트레스 테스트 역할을 합니다:

• 강력한 모델 (mistral, qwen): 높은 커버리지(>96%)를 유지하며 대부분 완전한 JSON 객체를 생성하지만, 생성된 출력의 번역 품질은 단일 타겟 성능보다 약간 낮습니다.
• 작은 모델 (llama3.2:3b): 심각한 구조화된 출력 실패를 겪습니다. 게르만 패밀리 설정에서 제로샷 커버리지는 0.343으로 떨어졌으며, 임베딩 검색을 사용하더라도 0.493에 그쳤습니다. 이 모델에게 패밀리 범위 작업은 단순한 번역 품질의 문제가 아니라 출력 준수의 문제입니다.

5. 전용 MT와의 비교

짝지은 유의성 검정 결과, 최적의 로컬 LLM 조건은 모든 타겟에 대해 chrF++에서 최적의 전용 MT 베이스라인보다 낮은 수치를 기록했습니다. 격차는 게르만어 계열(평균 -7.26 chrF++)이 로망스어 계열(평균 -2.55 chrF++)보다 컸습니다. COMET 점수는 때때로 격차를 좁히거나 비유의적인 차이를 보였으나(예: 스페인어), 전반적으로 전용 MT 시스템이 현재 더 우월하다는 결론을 뒤집지는 못했습니다.

의의 및 주장

본 논문은 새로운 번역 모델을 도입하거나 전용 MT 시스템을 능가하는 방법을 제시하는 것이 목적이 아닙니다. 대신, 본 연구의 주요 기여는 다음과 같은 평가 설계 및 경험적 분석을 제시하는 것입니다:

1. 프롬프트 범위는 핵심 변수임: LLM을 단일 타겟 번역으로만 평가하는 것은 불충분합니다. 패밀리 범위 프롬프팅은 표준 MT 평가가 놓치는 독특한 실패 모드(누락된 타겟, 잘못된 JSON 형식)를 드러냅니다.
2. 데모니스트레이션 전략의 중요성: 예시(무작위 대 의미적)의 선택은 성능에 유의미한 영향을 미치지만, 이 효과는 모델 용량에 따라 달라집니다. 작은 모델은 추가적인 컨텍스트에 의해 해를 입을 수 있습니다.
3. 준수 여부가 품질의 일부임: 다중 타겟 번역의 경우, "품질"에는 구조화된 출력 준수 지표(커버리지, 완전성)가 포함되어야 합니다. 유창하지만 불완전한 출력을 생성하는 모델은 완전한 출력을 생성하는 모델과 기능적으로 동일하지 않습니다.
4. 평가 권고 사항: LLM 기반 MT 평가는 언어 쌍별 점수뿐만 아니라 프롬프트 범위, 검색 전략, 준수 지표를 아우르는 결과를 보고해야 합니다.

저자들은 로컬 LLM이 선택된 환경에서는 유용하고 경쟁력이 있지만, 특히 누락된 출력이나 구조적 실패가 실질적인 위험을 초래할 수 있는 안전 민감형 맥락에서는 신뢰를 가정하기보다 검증 메커니즘과 함께 배포되어야 한다고 결론짓습니다.