💬 NLP

Multi-lingual Functional Evaluation for Large Language Models

이 논문은 기존 정적 다국어 벤치마크의 한계를 지적하고, 프랑스어, 스페인어, 힌디어, 아랍어, 요루바어 등 5 개 언어로 확장된 새로운 기능적 벤치마크 (CL-GSM Symbolic, CL-IFEval) 를 제안하여 모델의 실제 다국어 수행 능력과 언어별 강건성 차이를 규명했습니다.

원저자: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian

게시일 2026-03-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 평가의 문제점: "외운 답안지" vs "실전 상황"

기존에 AI 모델의 다국어 능력을 평가할 때는 Belebele, M-MMLU 같은 '정적 데이터 벤치마크 (Static Benchmarks)'를 사용했습니다.

비유: 이는 마치 학생에게 기출 문제집을 외우게 하는 것과 같습니다.
- 문제: "사과 2 개, 배 3 개를 사면 과일 총 몇 개?"
- 정답: "5 개"
- 이 방식은 AI 가 특정 언어로 된 질문을 얼마나 잘 '기억'하고 '반응'하는지는 보여줍니다. 하지만, 실제 상황에서 AI 가 얼마나 유연하게, 그리고 정확하게 문제를 해결하는지는 알 수 없습니다.

2. 연구팀의 새로운 접근: "변형된 실전 훈련"

연구팀은 이 문제를 해결하기 위해 CL-GSM Symbolic과 CL-IFEval이라는 두 가지 새로운 '기능적 벤치마크 (Functional Benchmarks)'를 만들었습니다.

비유: 이제 학생에게 기출 문제집을 주지 않고, '상황에 따라 변하는' 실전 훈련을 시킵니다.
- **CL-GSM **(수학) "사과 2 개, 배 3 개"라는 고정된 문제가 아니라, "A 는 사과 n개, B 는 배 m개를 샀다"처럼 숫자나 이름을 무작위로 바꾼 문제를 endless 하게 냅니다. AI 는 단순히 답을 외운 게 아니라, **논리 구조 **(함수)를 이해해야만 정답을 맞출 수 있습니다.
- **CL-IFEval **(지시 수행) "이 글을 100 자로 써라", "모든 단어를 대문자로 써라"처럼 구체적인 제약 조건을 넣은 지시문을 다양한 언어로 냅니다. AI 는 내용뿐만 아니라 지시사항을 얼마나 철저히 따르는지가 중요합니다.

이 연구는 영어로 된 이 '실전 훈련' 문제들을 프랑스어, 스페인어, 힌디어, 아랍어, 요루바어 등 5 개 언어로 번역하여 AI 를 시험했습니다.

3. 놀라운 발견: "시험 점수"와 "실전 능력"의 괴리

연구 결과는 매우 흥미롭고 놀라웠습니다.

① 점수는 좋지만, 실전은 엉망일 수 있다

기존의 '기출 문제집 (정적 벤치마크)'에서는 모든 언어에서 AI 가 높은 점수를 받았습니다. 하지만 '실전 훈련 (기능적 벤치마크)'으로 넘어가자마자 점수가 뚝 떨어졌습니다.

비유: 수학 기출 문제집은 90 점 만점에 90 점을 맞았는데, 갑자기 문제 숫자가 바뀌거나 조건이 추가되는 실전 시험을 치르니 60 점대로 떨어졌습니다.
특히 영어, 프랑스어, 스페인어에서는 기존 점수 대비 15~24% 포인트나 점수가 하락했습니다.

② 언어별 '편차'가 심하다

모든 언어가 똑같이 떨어지는 게 아니었습니다.

영어나 아랍어는 비교적 잘 버텨냈지만, **요루바어 **(나이지리아 언어) 같은 저자원 언어에서는 점수가 **4%~14%**까지 추락했습니다.
비유: 영어는 'A 급 학생'이 실전에서도 A 를 받지만, 요루바어는 'A 급 학생'이 실전 시험장에 가면 너무 긴장해서 F를 받는 꼴이었습니다.

③ 모델 순위가 뒤바뀐다

기존 벤치마크에서는 상위권 모델이었던 AI 가, 새로운 기능적 벤치마크에서는 하위권으로 떨어지기도 했습니다.

비유: "기출 문제집 점수"만 보고 뽑은 '최고의 학생'이, "실전 상황"에서는 다른 학생에게 밀려서 3 등, 4 등을 하는 일이 벌어졌습니다. 이는 단순히 데이터를 많이 외운 모델이 아니라, 논리적으로 문제를 해결하는 모델이 진짜로 강력한 모델임을 보여줍니다.

4. 결론: 왜 이 연구가 중요한가?

이 논문은 **"AI 가 여러 언어를 할 줄 안다고 해서, 모든 언어에서 똑똑하게 일할 수 있는 것은 아니다"**라고 경고합니다.

기존 방식의 한계: 단순히 번역된 문제를 풀게 하는 것은 AI 의 진짜 능력을 과장해서 보여줄 뿐입니다.
새로운 방향: AI 를 실제 서비스 (예: 의료 상담, 법률 조언, 교육) 에 투입하기 전에는, 변화하는 조건과 구체적인 지시사항을 얼마나 잘 처리하는지를 다양한 언어로 테스트해야 합니다.

한 줄 요약:

"기존 시험지 (정적 벤치마크) 로는 AI 가 다국어를 잘하는 척했지만, 새로운 실전 훈련 (기능적 벤치마크) 을 치르니 언어별로 실력 차이가 극명하게 드러났고, 특히 저자원 언어에서는 AI 가 매우 취약한 것으로 밝혀졌습니다."

이 연구는 앞으로 AI 를 개발할 때, 단순히 '언어 지원'을 넘어 **'실제 상황에서의 견고함 **(Robustness)을 평가하는 기준이 필요함을 강조합니다.

논문 요약: 다국어 기능적 평가 (Multi-lingual Functional Evaluation) 를 위한 대규모 언어 모델 연구

이 논문은 현재 대규모 언어 모델 (LLM) 의 다국어 능력을 평가하는 데 널리 사용되는 정적 데이터 벤치마크 (Static Data Benchmarks) 의 한계를 지적하고, 이를 보완하기 위해 **기능적 벤치마크 (Functional Benchmarks)**를 도입하여 모델의 실제 수행 능력과 견고성 (Robustness) 을 평가하는 새로운 프레임워크를 제시합니다.

1. 문제 제기 (Problem)

정적 벤치마크의 한계: 현재 M-MMLU, M-GSM, Belebele 와 같은 다국어 벤치마크는 정해진 데이터셋을 기반으로 합니다. 이러한 평가는 모델이 특정 언어의 지식을 얼마나 많이 알고 있는지는 측정할 수 있으나, 다양한 프롬프트 변형이나 복잡한 지시사항을 다양한 언어로 **견고하게 실행 (Robust Execution)**하는지, 즉 실제 기능적 수행 능력을 제대로 파악하지 못합니다.
문화적 맥락 부재 및 데이터 오염: 많은 다국어 벤치마크가 영어 데이터의 단순 번역에 의존하여 문화적 맥락이 결여되어 있으며, 영어 데이터 오염 (Data Contamination) 으로 인해 실제 성능이 과장될 수 있습니다.
평가 간극: 정적 벤치마크와 실제 기능적 수행 사이에는 큰 격차가 존재하며, 언어별, 모델별로 이 격차의 크기가 불규칙하게 나타납니다.

2. 방법론 (Methodology)

저자들은 기존 영어 기반의 기능적 평가 템플릿을 5 가지 추가 언어 (프랑스어, 스페인어, 힌디어, 아랍어, 요루바어) 로 번역하여 두 가지 새로운 다국어 기능적 벤치마크를 구축했습니다.

구축된 벤치마크:
1. CL-GSM Symbolic (Cross-Lingual Grade School Math Symbolic): 수학 추론 능력 평가. 기존 GSM8K 의 정적 문제를 템플릿 기반으로 변환하여 변수 (숫자, 이름, 색상 등) 를 동적으로 생성하고, 정답은 템플릿 함수 ( $f(X)$ ) 를 통해 자동으로 검증합니다.
2. CL-IFEval (Cross-Lingual Instruction-Following Eval): 지시사항 준수 능력 평가. IFEval 데이터셋의 프롬프트 템플릿을 번역하여, 대소문자 구분, 길이 제한, 특정 단어 사용 금지 등 구체적인 제약 조건을 다양한 언어로 테스트합니다.
언어 선정: NLP 자원 수준 (CommonCrawl 기반) 을 고려하여 고자원 (영어, 프랑스어, 스페인어), 중자원 (아랍어, 힌디어), 저자원 (요루바어) 언어를 포함했습니다.
검증 프로세스: 구글 번역기를 사용한 초기 번역 후, 원어민 화자 (Native Speakers) 를 통한 엄격한 검증을 수행했습니다. 특히 요루바어의 경우 나이지리아 현지 원어민을 포함하여 방언과 문화적 적절성을 확보했습니다. 번역된 템플릿이 원래 의도, 제약 조건, 논리적 일관성을 유지하는지 확인했습니다.
평가 모델: Aya, Gemma, Qwen, Mistral, Mixtral 등 주요 오픈 소스 LLM 들을 대상으로 Chain-of-Thought (CoT) 프롬핑을 적용하여 평가했습니다.

3. 주요 기여 (Key Contributions)

새로운 벤치마크 공개: 다국어 기능적 평가를 위한 CL-GSM Symbolic과 CL-IFEval 데이터셋을 공개했습니다. 이는 단순 지식 회상이 아닌, 프롬프트의 변형과 제약 조건에 대한 모델의 적응력을 측정합니다.
정적 vs 기능적 평가 간극 규명: 정적 벤치마크와 기능적 벤치마크 간의 성능 차이가 언어와 모델에 따라 극적으로 다르게 나타난다는 것을 발견했습니다.
언어별 견고성 (Robustness) 분석: 특정 언어 (예: 아랍어, 영어) 는 일관되게 잘 수행되지만, 다른 언어 (예: 요루바어) 나 특정 프롬프트 구조에서는 모델이 매우 취약하다는 것을 밝혀냈습니다.

4. 실험 결과 (Results)

성능 하락 (Performance Drop): 정적 벤치마크에서 높은 점수를 받은 모델이 기능적 벤치마크로 전환될 때 성능이 급격히 하락했습니다.
- 수학 추론 (M-GSM $\to$ CL-GSM Symbolic): 영어, 프랑스어, 스페인어에서 각각 24%, 17%, 18% 의 성능 하락이 관찰되었습니다.
- 지시사항 준수 (Belebele $\to$ CL-IFEval): 언어별 15%~24% 의 성능 하락이 발생했습니다.
- M-MMLU $\to$ CL-IFEval: 상대적으로 하락폭이 작았으나 (0.5%~3%), 여전히 유의미한 차이가 존재했습니다.
모델 순위 변화: 정적 벤치마크에서는 상위권 모델이 기능적 벤치마크에서도 상위권을 유지하는 경향이 있었으나, 저자원 언어 (요루바어 등) 에서는 순위가 뒤바뀌거나 격차가 더욱 벌어지는 현상이 발생했습니다.
언어 간 성능 격차 (Language Performance Gap):
- 고자원 언어 간 성능 격차도 기능적 평가에서는 정적 평가보다 훨씬 컸습니다 (예: Aya-expanse-32B 모델의 경우 M-MMLU 에서는 5.89% 격차였으나 CL-IFEval 에서는 25.88% 로 확대).
- 저자원 언어 (요루바어) 의 경우 기능적 평가에서 극심한 성능 저하 (12%~23% 수준) 를 보였습니다.
템플릿별 취약점: 확률적 추론 (Probabilistic Inference) 이 포함된 수학 템플릿이나 대소문자 구분 (Case distinction) 이 필요한 지시사항에서 모든 모델이 언어에 관계없이 실패하는 경향이 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

실제 배포 환경의 예측: 정적 벤치마크 점수는 모델의 실제 다국어 배포 환경에서의 견고성을 과대평가할 수 있음을 시사합니다. 기능적 평가는 모델이 다양한 입력 변형과 제약 조건 하에서 얼마나 안정적인지 파악하는 데 필수적입니다.
저자원 언어의 취약성 강조: 요루바어와 같은 저자원 언어에서 모델의 성능이 극도로 낮고 불안정하다는 점을 재확인하여, 향후 다국어 LLM 개발 시 저자원 언어에 대한 기능적 강화가 시급함을 주장합니다.
향후 연구 방향: 더 높은 품질의 번역 커레이션, 멀티모달 및 코드 기능 평가로의 확장, 그리고 기능적 평가 프레임워크를 모델 학습 (Training) 에 활용하는 방안을 제시합니다.

이 논문은 LLM 의 다국어 능력을 평가할 때 단순한 지식 회상 테스트를 넘어, 동적 프롬프트와 제약 조건 하에서의 기능적 수행 능력을 반드시 측정해야 함을 강조하며, 이를 위한 표준화된 벤치마크를 제공했다는 점에서 중요한 의의를 가집니다.