💬 NLP

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages

이 논문은 저자원 언어 번역을 위해 많은 수의 예제를 활용한 인-컨텍스트 학습 (ICL) 을 실증적으로 분석하여, BM25 기반의 예제 검색이 예제 수를 대폭 줄이면서도 동등하거나 더 나은 번역 성능을 달성할 수 있음을 보여줍니다.

원저자: Yinhan Lu, Gaganpreet Jhajj, Chen Zhang, Anietie Andy, David Ifeoluwa Adelani

게시일 2026-04-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yinhan Lu, Gaganpreet Jhajj, Chen Zhang, Anietie Andy, David Ifeoluwa Adelani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🌍 배경: 인공지능도 '외국어'가 어렵습니다

대부분의 인공지능은 영어, 중국어, 스페인어 같은 '주류 언어'로만 엄청나게 많은 공부를 했습니다. 하지만 아프리카의 소수 언어나 원주민 언어처럼 데이터가 거의 없는 **'희귀 언어'**는 마치 외국어 공부를 전혀 해보지 않은 상태와 비슷합니다.

기존에는 인공지능에게 예시 3~5 개만 보여주고 ("이게 영어고, 저게 우리말이야") 번역을 시켰는데, 이렇게 적은 예시만으로는 번역 품질이 잘 나오지 않았습니다.

📚 연구의 핵심: "예시를 1,000 개나 보여줘!" (Many-Shot)

연구진은 "예시를 조금 더 많이 보여줄까?"라고 생각했습니다. 마치 학생에게 수업 자료 1,000 장을 한 번에 보여주고 "이 패턴을 보고 번역해 봐"라고 시키는 방식입니다. 이를 **'Many-Shot(다수 예시) 학습'**이라고 합니다.

그 결과, 놀라운 일이 일어났습니다.

비유: 예시 1 개만 보여줄 때는 "아, 영어는 이렇게 쓰네?" 정도만 알았지만, 예시 1,000 개를 보여주니 **"아! 영어는 문맥에 따라 이렇게도 저렇게도 쓰이는구나!"**라고 통찰을 얻은 것입니다.
결과: 희귀 언어로 번역할 때, 예시 1,000 개를 준 경우 번역 품질이 2 배 이상 좋아지기도 했습니다.

💡 하지만 문제점: "너무 비싸고 무거워!"

문제는 예시 1,000 개를 모두 입력하면 인공지능이 처리해야 할 양이 너무 커져서 시간이 오래 걸리고 돈 (API 비용) 이 많이 든다는 것입니다. 마치 도서관에서 책 1,000 권을 다 가져와서 읽으라고 시키는 것과 비슷하죠.

🔍 해결책 1: "가장 중요한 책만 골라줘!" (BM25 검색)

연구진은 "그럼 1,000 권을 다 줄 필요 없이, 가장 비슷한 50 권만 골라서 주면 어떨까?"라고 실험했습니다. 이때 사용한 도구가 **'BM25'**라는 간단한 검색 기술입니다.

비유: 1,000 권의 책 (랜덤 예시) 을 다 읽는 대신, 번역하려는 문장과 **가장 내용이 비슷한 50 권의 책 (검색된 예시)**만 골라주는 것입니다.
결과: 놀랍게도 검색된 예시 50 개가 랜덤 예시 250 개만큼이나 잘 작동했고, 검색된 예시 250 개는 랜덤 예시 1,000 개와 비슷한 성능을 냈습니다.
의미: "적은 비용으로 큰 효과를 볼 수 있다!"는 뜻입니다. 희귀 언어를 사용하는 커뮤니티도 이 방법을 쓰면 훨씬 저렴하게 좋은 번역기를 만들 수 있습니다.

🔍 해결책 2: "성경으로 배울까, 위키피디아로 배울까?" (영역 차이)

예시 자료의 종류도 중요했습니다.

위키피디아 (일상/지식): 일반적인 정보.
성경 (종교): 종교적인 텍스트.
결과: 대부분 같은 분야 (위키피디아) 의 예시가 가장 잘 작동했습니다. 하지만 어떤 언어는 성서 같은 종교 텍스트가 오히려 더 도움이 되기도 했습니다. 즉, "일상적인 예시가 없다면, 종교 텍스트라도 좋은 예시라면 쓸모가 있다"는 교훈을 줍니다.

🔍 해결책 3: "책 순서를 바꿔줘야 할까?" (예시 배열)

예시들을 "짧은 것부터 긴 것 순서"로 나열하거나, "긴 것부터 짧은 것 순서"로 나열하는 것이 번역에 영향을 줄까?

결과: 별로 영향이 없었습니다. 중요한 것은 '순서'가 아니라 '어떤 예시를 골랐는지 (검색의 정확도)'였습니다.

📝 요약: 이 연구가 우리에게 주는 메시지

많은 예시가 답이다: 인공지능에게 희귀 언어를 가르칠 때, 예시를 1,000 개나 주면 번역 실력이 비약적으로 좋아집니다.
검색이 핵심이다: 모든 예시를 다 줄 필요는 없습니다. 가장 관련성 높은 예시만 50~250 개 골라주면, 1,000 개를 무작위로 주는 것보다 훨씬 효율적이고 저렴합니다.
희귀 언어를 위한 희망: 이 방법을 통해 데이터가 부족한 언어를 사용하는 커뮤니티도 거대 인공지능의 혜택을 더 쉽게, 더 저렴하게 받을 수 있게 되었습니다.

한 줄 요약:

"인공지능에게 희귀 언어를 가르칠 때는 예시를 1,000 개나 보여주는 게 좋지만, 돈과 시간을 아끼려면 '가장 비슷한 예시 50 개'만 골라서 보여주는 게 가장 똑똑한 방법이다."

1. 연구 배경 및 문제 정의 (Problem)

저자원 언어 (LRLs) 의 한계: 대규모 언어 모델 (LLM) 은 사전 학습 데이터에 포함되지 않은 매우 저자원 언어 (예: 아프리카의 소수 언어, 원주민 언어 등) 에서는 성능이 현저히 떨어집니다.
기존 Few-shot ICL 의 한계: 문맥 학습 (In-Context Learning, ICL) 은 소수의 예시를 통해 새로운 작업에 적응할 수 있게 하지만, 예시 수를 무작정 늘린다고 해서 성능이 비례하여 향상되지는 않습니다. 기존 연구들은 보통 20 개 미만의 예시 (Few-shot) 에만 집중했습니다.
Many-shot ICL 의 도전 과제: 최근 긴 컨텍스트 윈도우를 가진 LLM 들은 수천 개의 예시 (Many-shot) 를 입력받아 성능을 크게 향상시킬 수 있다는 'Many-shot' 패러다임이 등장했습니다. 그러나 저자원 언어 커뮤니티에게 수천 개의 예시를 모두 입력하는 것은 추론 비용 (Inference Cost) 이 너무 높아 실용성이 떨어집니다. 또한, 어떤 예시를 선택해야 효율적인지에 대한 체계적인 연구가 부족합니다.

2. 연구 방법론 (Methodology)

이 연구는 영어에서 10 개의 진정한 저자원 언어 (FLORES+ 에 새로 추가된 언어들: Anaang, Efik, Ibibio, Oro, Sudanese Arabic, Emakhuwa, Ladin, Mauritian Creole, Tamazight, Quechua) 로의 번역을 대상으로 실험을 수행했습니다.

모델: 오픈 가중치 모델 (Llama 3.3 70B, Gemma 3 27B) 과 독점 모델 (Gemini 2.5 Flash, GPT-4.1) 을 사용했습니다.
실험 설계 (3 가지 주요 질문):
1. 스케일링 효과: 예시 수 ( $k$ ) 를 0 에서 1,000 개까지 증가시켰을 때 성능이 어떻게 변하는지 분석 (랜덤 샘플링).
2. 예시 선택 전략: 무작위 선택 (Random) 과 BM25 기반 검색 (Retrieval) 을 비교. 검색은 영어 소스 측에서 수행하여 관련성 높은 예시를 선별했습니다.
3. 도메인 불일치 (Domain Mismatch): 위키피디아 (도메인 내) 데이터와 성경 텍스트 (도메인 외) 를 비교하여, 도메인 내 데이터가 없을 때 도메인 외 데이터가 확장 (Scaling) 에 어떻게 영향을 미치는지 분석.
4. 예시 순서: 예시를 짧은 것에서 긴 것 (Short-to-Long) 또는 그 반대로 정렬했을 때의 영향을 확인 (커리큘럼 학습 영감).

3. 주요 결과 (Key Results)

A. Many-shot 의 효과성

예시 수가 증가함에 따라 번역 성능 (chrF++ 점수) 이 로그 - 선형 (log-linear) 적으로 향상되었습니다.
특히 영어 → 저자원 언어 (eng→X) 방향에서 성능 향상이 극대화되었으며, 일부 언어에서는 0-shot 대비 1,000-shot 에서 2 배 이상의 성능 향상을 보였습니다.
반면, 저자원 언어 → 영어 (X→eng) 방향에서는 향상 폭이 상대적으로 작았습니다.
모델 차이: 독점 모델 (Gemini, GPT) 은 긴 컨텍스트를 잘 처리하여 1,000-shot 까지 꾸준히 향상되었으나, 오픈 모델 (Llama, Gemma) 은 컨텍스트 윈도우 제한이나 대규모 예시 처리 능력 부족으로 인해 500~1,000 shot 에서 성능이 정체되거나 하락하는 경향을 보였습니다.

B. 예시 선택: BM25 검색의 효율성 (가장 중요한 발견)

데이터 효율성 극대화: 무작위로 1,000 개의 예시를 사용하는 것보다, BM25 로 관련성 높은 250 개의 예시를 검색하여 사용하는 것이 동등하거나 더 나은 성능을 보였습니다.
비용 절감 효과:
- BM25 50 개 ≈ 무작위 250 개 성능
- BM25 250 개 ≈ 무작위 1,000 개 성능
이는 저자원 언어 커뮤니티가 추론 비용을 획기적으로 줄이면서도 Many-shot 의 이점을 누릴 수 있음을 의미합니다.

C. 도메인 및 순서의 영향

도메인: 일반적으로 같은 도메인 (위키피디아) 의 예시가 도메인 외 (성경) 예시보다 성능이 좋았습니다. 하지만 일부 언어 (예: Efik, Ibibio) 는 도메인 외 데이터에서도 유의미한 성능 향상을 보여, 도메인 내 데이터가 부재할 경우 대체 자료의 가능성을 시사했습니다.
순서: 예시를 길이 (Short-to-Long 등) 에 따라 정렬하는 것은 성능에 뚜렷한 영향을 미치지 않았습니다. 의미적 관련성 (BM25 검색) 이 순서보다 훨씬 중요했습니다.

4. 주요 기여 (Key Contributions)

저자원 언어에 대한 체계적 Many-shot 연구: 기존 Few-shot 중심의 연구에서 벗어나, 10 개의 진정한 저자원 언어를 대상으로 0~1,000 shot 까지 확장된 ICL 의 실증적 분석을 제공했습니다.
검색 기반 예시 선택의 효율성 입증: 단순한 예시 수의 증가가 아닌, BM25 와 같은 간단한 검색 기법을 통해 예시 수를 줄이면서도 동등한 성능을 낼 수 있음을 증명했습니다. 이는 실제 배포 시 추론 비용을 대폭 절감할 수 있는 실용적인 가이드라인을 제시합니다.
모델별 성능 한계 규명: 독점 모델과 오픈 모델 간의 Many-shot 처리 능력 차이를 명확히 보여주어, 저자원 언어 번역을 위한 모델 선택 기준을 제시했습니다.

5. 의의 및 결론 (Significance)

이 논문은 저자원 언어 번역 분야에서 Many-shot ICL 이 강력한 대안이 될 수 있음을 입증했습니다. 특히, 고비용의 대규모 예시 입력 없이도 지능적인 예시 검색 (BM25) 을 통해 데이터 효율성을 극대화할 수 있다는 점은 저자원 언어 커뮤니티가 접근하기 어려운 기술 장벽을 낮추는 중요한 기여입니다.

연구팀은 이 연구에 약 3 만 달러 이상의 API 비용이 소요되었음을 밝히며, 저자원 언어 연구의 재현성 장벽을 지적하고 모든 결과와 분석을 공개하여 커뮤니티의 접근성을 높였습니다.

핵심 메시지: "저자원 언어 번역을 위해 무작정 많은 예시를 넣는 것보다, 관련성 높은 예시를 적게 (검색 기반) 사용하는 것이 비용 대비 성능 면에서 훨씬 효율적이다."