IndicIFEval: A Benchmark for Verifiable Instruction-Following Evaluation in 14 Indic Languages

1. 문제 정의 (Problem Statement)

현재 대규모 언어 모델 (LLM) 의 지시 준수 (Instruction-following) 능력을 평가하는 벤치마크는 대부분 영어에 집중되어 있습니다. 이로 인해 수억 명의 인도어 (Indic) 화자를 위한 평가의 공백이 존재합니다.

• 현황: 기존 다국어 벤치마크는 번역에 의존하거나, 인간 평가자/LLM-Judge 를 사용하여 비용이 많이 들거나 일관성이 부족합니다.
• 핵심 질문: 다국어 및 저자원 (Low-resource) 환경에서 LLM 이 단순하고 규칙 기반이며 검증 가능한 제약 조건을 얼마나 잘 따를 수 있는가?
• 도전 과제: 인도어는 데이터 부족, 풍부한 형태론적 특징, 고유한 문자 체계 등 언어적 다양성을 가지며, 단순 번역만으로는 문화적 맥락이나 자연스러운 제약 조건을 포착하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 14 개의 인도어 (아삼어, 벵골어, 구자라트어, 힌디어, 카나다어, 말라얄람어, 마라티어, 네팔어, 오디아어, 펀자브어, 산스크리트어, 타밀어, 텔루구어, 우르두어) 를 대상으로 INDICIFEVAL이라는 새로운 벤치마크를 구축했습니다. 이 벤치마크는 두 가지 상호 보완적인 하위 집합으로 구성됩니다.

A. INDICIFEVAL-TRANS (번역 기반)

• 기반: 영어 IFEval 벤치마크의 프롬프트를 번역 및 현지화합니다.
• 프로세스:
  1. 전처리: '미국 대통령'을 '인도 총리'로 변경하는 등 문화적 맥락에 맞는 엔티티 로컬라이제이션 수행.
  2. 키워드 추출 및 번역: 제약 조건에 포함된 키워드를 개별적으로 번역하고, 번역 중 발생할 수 있는 오류 (축약어, 번역체, 번역 붕괴 등) 를 식별하여 수정.
  3. 사전 번역 삽입: 번역된 키워드를 영어 프롬프트에 삽입한 후 전체 번역 수행.
  4. 자동 검증: 정규식 (Regex) 을 사용하여 번역된 프롬프트의 제약 조건이 올바르게 기술되었는지 자동 확인.
  5. 인간 검증: 원어민이 문화적 적합성과 번역 품질을 최종 확인.

B. INDICIFEVAL-GROUND (현지 기반 생성)

• 목적: 번역의 한계를 극복하고, 인도어 고유의 자연스러운 맥락과 제약 조건을 반영.
• 프로세스:
  1. 제약 조건 정의: 키워드 포함/제거, 빈도, 문장/단락 수, 첫 단어 등 번역 시 가장 문제가 되었던 6 가지 유형 선정.
  2. 맥락 마이닝: 'Sangraha' 코퍼스를 기반으로 TF-IDF 를 활용해 실제 자주 쓰이는 키워드와 해당 제약 조건을 만족하는 텍스트 세그먼트를 추출.
  3. 프롬프트 생성: 추출된 맥락과 제약 조건을 기반으로 LLM(Gemini-2.5) 을 사용하여 자연스러운 사용자 프롬프트 생성.
  4. 인간 검증: 생성된 프롬프트의 의미적 타당성과 제약 조건의 명확성을 원어민이 검증.

C. 평가 체계

• 모델: Llama, Gemma, Qwen, Aya 등 오픈 가중치 모델과 GPT-5, Gemini 등 독점 모델 포함 (0.5B~70B+ 파라미터).
• 지표: 프롬프트 수준 (Prompt-level) 및 지시 수준 (Instruction-level) 정확도.
• 검증 도구: NLTK 를 기반으로 하되, 인도어 문자 처리를 최적화한 Indic NLP Library를 통합하여 문장 분할 및 토큰화를 정밀하게 수행.

3. 주요 기여 (Key Contributions)

1. INDICIFEVAL 벤치마크 출시: 14 개 인도어에 대한 검증 가능한 지시 준수 평가를 위한 최초의 포괄적인 벤치마크.
2. 이중 데이터셋 전략:
   • TRANS: 영어 기반과의 직접 비교를 위한 병렬 코퍼스.
   • GROUND: 번역이 포착하지 못하는 자연스러운 현지 제약 조건을 반영한 생성형 데이터셋.
3. 포괄적 모델 평가: 다양한 파라미터 크기, 추론 (Reasoning) 유무, 오픈/독점 모델을 아우르는 대규모 평가 수행.
4. 확장 가능한 프레임워크: 번역 및 현지화 모델과 지역 코퍼스가 있는 새로운 언어로 검증 가능한 벤치마크를 확장하기 위한 방법론 제시.

4. 결과 및 분석 (Results & Analysis)

A. 전반적 성능

• 영어 - 인도어 격차: 모든 모델에서 영어 프롬프트에 비해 인도어 프롬프트의 성능이 현저히 낮음.
• 모델 크기 영향: 파라미터 수가 증가할수록 성능이 향상되지만, 12B~14B 구간에서 성능이 정체되는 경향 (Verifiable instruction adherence 에 최소한의 파라미터 용량이 필요함).
• 모델별 차이:
  • Gemma: 모든 언어에서 영어와의 성능 격차 (Gap) 가 가장 작음 (가장 강력한 다국어 강건성).
  • Qwen & Llama: 경쟁력 있는 중간 수준.
  • Aya: 다국어에 초점을 맞췄음에도 불구하고 저자원 언어에서 성능 저하가 심함.
• 고자원 언어: 힌디어 (Hindi) 는 다른 인도어에 비해 영어와 성능 격차가 가장 작아 거의 균등 수준에 도달.

B. 제약 조건별 성능

• 형식 (Format): JSON, 리스트 등 구조적 형식 준수 능력은 전반적으로 높음.
• 어휘 (Lexical):
  • 키워드 제외 (Negative Constraints): 특정 단어를 쓰지 말라는 지시는 잘 따름.
  • 키워드 포함 (Positive Constraints): 특정 단어를 포함하라는 지시는 실패율이 높음 (정확한 어휘 생성의 어려움).
• 교차 언어 (Cross-lingual): 인도어 프롬프트로 영어 응답을 요구할 때 성능이 급격히 떨어짐 (모델이 프롬프트 언어로 응답하거나 대문자 규칙 등을 위반함).

C. 추론 모드 (Thinking Mode) 의 영향

• Qwen 모델 분석: 'Thinking' 모드를 활성화하면 영어와 인도어 간의 성능 격차가 일관되게 좁혀짐.
• 소규모 모델: 600M 파라미터 모델은 추론 모드 활성화의 이점을 거의 얻지 못함 (용량 부족).

D. 오픈 vs 독점 모델

• 독점 모델이 전반적으로 더 높은 정확도를 보이지만, 고자원 언어 (힌디어 등) 에서는 오픈 가중치 모델 (Gemma-27B 등) 이 독점 모델과 거의 유사한 성능을 보임.

5. 의의 및 결론 (Significance & Conclusion)

• 다국어 LLM 평가의 새로운 기준: 단순 번역을 넘어 현지화된 맥락과 자연스러운 제약 조건을 평가할 수 있는 표준을 마련했습니다.
• 현실적 통찰: LLM 이 형식적 제약은 잘 따르지만, 정교한 어휘 생성과 교차 언어 지시 준수에는 여전히 취약함을 발견했습니다.
• 향후 방향: 모델 용량 증가와 추론 (Thinking) 메커니즘 도입이 다국어 간 성능 격차 해소에 필수적임을 입증했습니다.
• 한계: 현재는 IFEval 의 25 가지 제약 유형에 국한되어 있으며, 로마자 표기 요구사항이나 단위 시스템 등 더 세분화된 언어적 제약에 대한 연구는 향후 과제로 남았습니다.

이 논문은 인도어 사용자를 위한 LLM 의 신뢰성 있는 평가 체계를 구축하고, 다국어 모델 개발의 방향성을 제시한다는 점에서 중요한 의의를 가집니다.