CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context

1. 문제 정의 (Problem Statement)

• 지시 따르기 (Instruction-Following) 평가의 부재: 대규모 언어 모델 (LLM) 의 지시 따르기 능력을 평가하는 벤치마크는 영어 중심이며, 포르투갈어 (특히 브라질 포르투갈어) 에 대한 체계적인 평가는 부족합니다.
• 번역 기반 평가의 한계: 기존 다국어 벤치마크 (예: Multi-IF) 는 영어 프롬프트를 번역하여 사용하는데, 이는 포르투갈어 고유의 언어적 특징 (형태소, 문법적 구조) 과 문화적 맥락을 반영하지 못합니다.
  • 예시: 포르투갈어의 생산적인 지소사 (-inho/-zinha), 동명사 (-ando/-endo/-indo), 부사형 (-mente) 등은 영어 번역 지시로는 정밀하게 평가하기 어렵습니다.
• 문화적 맥락의 결여: 지시 따르기 평가가 문화적으로 중립적이거나 영어 중심의 맥락에 머무르면서, 브라질의 정체성과 밀접한 문학 작품 등을 활용한 자연스러운 시나리오가 부족했습니다.
• 자동화 검증의 필요성: 주관적인 LLM 저지 (LLM-as-a-judge) 나 인간 평가에 의존하지 않고, 프로그램적으로 검증 가능한 (deterministic) 지시 유형이 필요합니다.

2. 방법론 (Methodology)

CAPITU 는 브라질 포르투갈어에 특화된 지시 따르기 벤치마크로, 다음과 같은 설계 원칙과 구조를 가집니다.

가. 설계 원칙

1. 자동화 검증 (Automatic Verification): 모든 59 가지 지시 유형은 인간 평가자나 LLM 저지 없이 정규식 (Regex), 문자열 연산, 어휘 매칭을 통해 프로그램적으로 검증 가능합니다.
2. 언어적 관련성 (Linguistic Relevance): 영어 번역이 아닌 포르투갈어 고유의 형태소 (지소사, 동명사 등) 와 담화 표지자를 반영한 지시를 설계했습니다.
3. 문화적 기반 (Cultural Grounding): 모든 프롬프트는 브라질 문학의 고전 8 편 (마치우 아세베도, 구이마라에스 로자, 마리오 데 안드라데 등 작가의 작품) 을 배경으로 하여 자연스러운 생성 과제를 제공합니다.
4. 확장 가능한 난이도: 지시 수 (1 개~4 개) 와 대화 턴 (단일 턴 vs. 다중 턴) 을 조절하여 난이도를 조정합니다.

나. 지시 분류 (Instruction Taxonomy)

총 59 가지 지시 유형이 7 가지 카테고리로 분류됩니다.

• Count (17 개): 단어 수, 문장 수, 글자 수 등 정량적 제약.
• Words (11 개): 특정 단어 포함, 빈도, 접속사 사용 등.
• Pattern (8 개): 포르투갈어 특화 (예: -ando/-endo/-indo 로 끝나는 단어, -inho/-inha 지소사, -mente 부사형 등).
• Forbidden (7 개): 금지된 단어, 1 인칭 사용 금지 등.
• Structure (6 개): 시작/끝 단어, 암구시 (Acrostic), 줄 접두어 등.
• Punctuation (5 개): 문장 부호 사용 규칙.
• Format (5 개): 불릿 리스트, 대문자/소문자 등.

다. 데이터 구성

• 총 500 개 평가 인스턴스:
  • 단일 턴 (Single-turn): 200 개 (난이도: 쉬움 70, 중간 70, 어려움 60).
  • 다중 턴 (Multi-turn): 100 개의 대화 (각 3 턴, 총 300 턴). 이전 턴의 제약이 누적되어 다음 턴에서 유지되는지 평가합니다.
• 문학 코퍼스: 브라질 문학의 주요 흐름 (낭만주의, 사실주의, 자연주의, 지역주의, 모더니즘) 을 대표하는 8 권의 고전 작품.

라. 평가 지표

• Strict Accuracy: 생성된 응답이 모든 지시를 완벽하게 준수하는 비율.
• Loose Accuracy: 마크다운 형식 제거나 줄 삭제 등 변형을 허용하여 지시 준수를 평가.
• Coherence Score: LLM 저지 (GPT-4o-mini) 를 사용하여 응답의 일관성과 문학적 맥락 적합성을 0~1 점으로 평가.
• 최종 점수: Final Score = (2 * Instruction Compliance + Coherence) / 3 (지시 준수를 2 배 가중치로 부여).

3. 주요 기여 (Key Contributions)

1. 포르투갈어 특화 지시 분류 체계: 영어 번역이 아닌, 포르투갈어의 형태소적 특징 (지소사, 동명사 등) 을 포착하는 59 가지 자동 검증 가능 지시 유형 개발.
2. 문화적 맥락 기반 프롬프트: 브라질 문학 고전 8 편을 배경으로 한 자연스러운 생성 과제 설계.
3. 다차원 평가 프레임워크: 난이도 (지시 수), 다중 턴 대화, 일관성 점수를 포함한 종합 평가 체계.
4. 오픈 소스 벤치마크 및 베이스라인: 18 개 최첨단 모델에 대한 평가 결과, 평가 코드, 생성 도구를 공개하여 포르투갈어 NLP 연구 활성화.

4. 실험 결과 (Results)

평가 대상: 18 개 모델 (OpenAI GPT-5 계열, Google Gemini 3, Anthropic Claude 4.5, Alibaba Qwen 3, Maritaca AI Sabiá 계열).

가. 전반적 성능

• 최상위 모델: GPT-5.2 (Reasoning) 가 98.5% 의 엄격한 정확도 (Strict Accuracy) 를 기록하여 최강 성능을 보였습니다.
• 포르투갈어 특화 모델의 성과: Sabiazinho-4 (87.0%) 는 Claude-Sonnet-4.5(86.0%) 를 능가했으며, Claude-Haiku-4.5(73.5%) 보다 훨씬 낮은 비용 ($0.13 대$1.12) 으로 뛰어난 비용 효율성을 입증했습니다.
• 추론 (Reasoning) 의 효과: 추론 기능이 활성화된 모델 (GPT-5.2, Qwen3-8B/32B 등) 이 비활성화 모델보다 지시 따르기 성능이 현저히 높았습니다.

나. 난이도별 성능

• 지시 수 증가에 따른 성능 저하: 대부분의 모델은 지시 수가 3~4 개로 늘어날 때 (Hard) 성능이 크게 떨어졌습니다.
  • 예시: GPT-5.2 는 3.3%p 감소만 보였으나, Qwen3-8B 는 40.4%p, Claude-Haiku-4.5 는 39.0%p 감소했습니다.
• 가장 어려운 지시: 정확한 단어 수 카운팅 (21.1%), 단어 반복 제한 (31.6%), 암구시 (Acrostic, 66.3%), 포르투갈어 지소사 패턴 (67.8%) 순으로 어려웠습니다.

다. 다중 턴 (Multi-turn) 평가

• 제약 유지력 (Constraint Persistence): 대화가 진행될수록 (Turn 1 → Turn 3) 이전 지시를 유지하는 능력이 모델마다 큰 차이를 보였습니다.
  • GPT-5-mini가 대화 정확도 96.0% 로 가장 우수했습니다.
  • Sabiazinho-4도 87.0% 로 경쟁력 있는 성능을 보였습니다.
  • 반면, 일부 오픈 소스 모델 (Qwen3-32B 등) 은 60% 대로 급격히 하락했습니다.

라. 카테고리별 분석

• 가장 쉬운 카테고리: 금지된 단어 사용 (Forbidden, 99.1%).
• 가장 어려운 카테고리: 형태소 패턴 (Pattern, 84.8%) 과 구조적 제약 (Structure, 87.9%). 특히 암구시 (Acrostic) 는 Claude 계열 모델에서 매우 낮은 성능 (37.5~59.4%) 을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 포르투갈어 NLP 의 새로운 기준: CAPITU 는 번역 기반이 아닌, 브라질 포르투갈어의 언어적·문화적 특성을 반영한 최초의 지시 따르기 벤치마크로, 해당 언어권 모델 평가의 표준을 제시합니다.
• 비용 효율성과 특화 모델의 가치: 거대 모델 (GPT-5) 이 최상위 성능을 보이지만, 도메인 특화 모델 (Sabiazinho-4) 이 경쟁력 있는 성능을 훨씬 낮은 비용으로 제공함을 입증했습니다.
• 향후 과제:
  • 다중 턴 제약 유지: 대화 흐름 속에서 누적된 지시를 유지하는 능력은 여전히 주요 병목 현상입니다.
  • 형태소 검증의 한계: 자동 검증을 위해 형태소 패턴 (접미사) 만 매칭하므로, 문법적으로 올바른 사용인지 여부는 평가하지 못합니다 (단, 실제 오류는 드물게 발생함).
  • 확장: 다른 루소폰 (포르투갈어권) 문화권으로 코퍼스를 확장하고, 인간 평가를 통한 일관성 점수 검증이 필요합니다.

이 논문은 LLM 이 단순한 텍스트 생성을 넘어, 특정 언어의 복잡한 문법적 제약과 문화적 맥락을 정확히 이해하고 준수할 수 있는 능력을 평가하는 데 중요한 이정표가 됩니다.