Evaluating Cross-lingual Knowledge Consistency in Code-Mixed vis-a-vis Indian Languages using IndicKLAR

기술 요약: IndicKLAR 를 활용한 코드 혼합 인도 언어의 교차 언어 지식 일관성 평가

문제 제기
대규모 언어 모델 (LLM) 은 영어와 같은 고자원 언어에서는 사실적 지식을 신뢰성 있게 회상하는 반면, 동일한 질문이 저자원 언어로 제시될 때 빈번히 실패하는 상당한 '교차 언어 일관성 격차'를 보입니다. 이러한 불균형은 22 개의 공인 언어를 인정하는 언어적으로 다양한 지역인 인도에서 공정한 AI 배포에 중대한 장벽이 됩니다. 기존 벤치마크는 주로 정제된 단일 언어 입력이나 고자원 언어 쌍에 초점을 맞추고 있어, 일상적인 디지털 상호작용에서 흔히 발생하는 코드 혼합 (영어와 인도 언어의 교차) 통신의 현실을 크게 간과하고 있습니다. 또한, 이전 평가들은 종종 외부 시스템을 통해 모델 출력을 영어로 다시 번역하는 방식에 의존하는데, 이는 저자원 출력이 본질적으로 충실한 것인지 여부를 흐리게 할 수 있습니다.

방법론
이러한 격차를 해소하기 위해 저자들은 KLAR-CLC 벤치마크의 인도어 확장 버전인 INDIKLAR를 소개합니다. 방법론은 세 가지 핵심 구성 요소를 포함합니다:

1. 벤치마크 구축 (INDIKLAR):

   • 범위: 22 개 인도 공인 언어 중 18 개 언어를 포괄합니다.
   • 변형: 언어학자 지원이 가능했던 11 개 언어의 경우, 저자들은 모국어의 문법 구조 안에 영어 내용어를 삽입하여 코드 혼합 변형을 구축했습니다.
   • 정렬: 데이터셋은 11 개 언어에 대해 3 방향 정렬을 제공합니다: (1) 인도어 원어 (단일 언어), (2) 코드 혼합, (3) 영어. 나머지 7 개 언어는 2 방향 정렬 (원어 및 영어) 을 가집니다.
   • 검증: 모국어 및 코드 혼합 변형 모두 유창성과 자연스러움을 보장하기 위해 원어민 또는 준원어민 화자에 의한 인간 품질 검증을 거쳤습니다.
   • 규모: 각 언어 설정은 20 개의 사실 카테고리에 걸쳐 2,619 개의 인스턴스를 포함합니다.

2. 실험 설정:

   • 모델: 평가는 1B 에서 14B 파라미터까지 범위를 가진 세 가지 계열 (Llama 3.1/3.2, Gemma 3, Qwen 2.5) 의 9 개 오픈 가중치 모델에서 수행되었습니다.
   • 지표: 본 연구는 정확도 (예측의 정확성) 와 교차 언어 일관성 (CLC) (언어 쌍 간 올바른 예측의 중첩) 을 측정합니다.
   • 프롬프트 전략: 저자들은 성능 격차를 해소하기 위해 여러 전략을 체계적으로 비교했습니다:
     • 베이스라인: 소스 언어로 직접 프롬프트를 입력합니다.
     • 2 단계 전략: 변환 (코드 혼합, 영어, 또는 로마자 표기) 을 위한 별도의 추론 호출 followed by 답변.
     • 1 단계 전략: 변환과 답변의 동시 생성.
     • 생각 속 번역 (Translate-in-Thought, TinT): 모델이 입력을 (영어 또는 코드 혼합으로) 내부적으로 변환하고 중간 텍스트를 생성하지 않고 오직 최종 답변만 출력하도록 지시하는 새로운 1 단계 전략입니다.

3. 분석:

   • 본 연구는 원어 $\to$ 코드 혼합 $\to$ 영어의 성능 궤적을 분석합니다.
   • 계층별 순위 분석을 사용하여 모델의 올바른 답변 토큰에 대한 내부 표현이 계층을 거치며 어떻게 진화하는지 관찰하는 해석 가능성 사례 연구를 포함합니다.

주요 기여

• INDIKLAR 벤치마크: 이 규모에서 원어민 검증 하에 단일 언어 인도어 사실적 질문과 코드 혼합 대응물을 짝지은 최초의 벤치마크로, 영어, 원어, 코드 혼합 입력 간의 정렬된 평가를 가능하게 합니다.
• 생각 속 번역 (TinT): 명시적 중간 출력 없이 내부 번역을 유도하는 1 단계 암시적 프롬프트 전략을 도입하여, 다단계 방법에 비해 추론 지연 시간을 줄이면서 성능 향상을 제공합니다.
• '반전 지점 (Flip Point)'의 식별: 잘못된 예측과 올바른 예측 사이의 경계인 '반전 지점'이 코드 혼합과 영어 사이가 아니라, 원어 저자원 설정과 코드 혼합 설정 사이에 일관되게 위치한다는 발견입니다.

결과

• 원어 - 영어 격차: 영어에 대한 원어 언어 정확도 격차는 아삼어와 텔루구어와 같은 소규모 모델 및 언어의 경우 약 0.50에 달할 수 있습니다.
• 코드 혼합의 효과성: 코드 혼합 입력은 모델 수준의 개입 (재학습) 없이 영어 수준의 정확도에서 약 0.05 이내로 성능 격차를 크게 좁힙니다.
• 프롬프트 성능:
  • TinT는 언어와 모델 계열 전반에 걸쳐 베이스라인보다 통계적으로 유의미한 향상을 보입니다.
  • 효율성: TinT 변형은 다단계 전략에 비해 훨씬 낮은 추론 시간 (예: Llama-3.1-8B 의 경우 샘플당 약 0.09 초) 으로 이러한 향상을 달성합니다.
  • 확장성: TinT 의 효과는 모델 크기에 따라 확장됩니다. 더 큰 모델 (예: 8B–14B) 은 더 강력한 잠재 번역 능력을 보여줍니다. 작은 모델 (<1.5B) 은 때때로 재구성에서 어려움을 겪지만, Gemma-3-1B 는 일관된 개선을 보였습니다.
• 언어 계열: 인도 - 아리아어 계열은 드라비다어 계열 (+14%) 에 비해 TinT 로부터 더 큰 향상 (+18% 정확도) 을 보였으나, TinT 는 대부분의 카테고리에서 성능을 향상시켰습니다.
• 반전 지점 위치: 입력 표면 형태 (원어 대 코드 혼합) 에 의해 유도되든 내부 변환 (원어 대 TinT) 에 의해 유도되든, 잘못된 예측에서 올바른 예측으로의 전환은 원어와 코드 혼합 설정 사이에서 발생합니다.
• 애블레이션: 코드 혼합 변형은 순수 로마자 표기 (전사) 변형보다 우수한 성능을 보였으며, 이는 스크립트 통일성 자체보다 의미 있는 이중 언어 어휘 단서 (영어 앵커) 가 더 중요함을 시사합니다.

의의 및 주장
본 논문은 코드 혼합이 교차 언어 지식 일관성을 위한 강력한 다리 역할을 한다고 주장합니다. 이를 통해 모델은 저자원 의미 체계를 유지하면서 더 강력한 영어 추론 능력을 활용할 수 있습니다. **생각 속 번역 (TinT)**의 도입은 고비용 재학습이나 외부 번역 시스템 없이 프롬프트만으로 유도될 수 있는 모델의 잠재 번역 능력을 보여줍니다.

저자들은 '반전 지점' 발견이 저자원 지식 회상의 주요 실패 모드가 지식의 부재가 아니라, 원어 스크립트를 통해 해당 지식에 접근하는 데 있는 어려움임을 시사한다고 강조합니다. 입력을 코드 혼합 상태나 내부적으로 번역된 상태로 전환함으로써 모델은 영어에 대해 보유하고 있는 동일한 지식에 접근할 수 있습니다.

한계점
저자들은 다음과 같은 몇 가지 한계를 지적합니다:

• 합성 생성: 코드 혼합 변형은 GPT API 를 통해 생성되고 인간에 의해 검증되었으나, 실제 세계의 코드 혼합의 방언적 다양성을 완전히 포착하지 못할 수 있습니다.
• 포괄성: 번역 시스템 품질과 주석자 접근성의 제한으로 인해 네 개의 공인 언어 (보도어, 카슈미르어, 마니푸르어/메이티어, 산탈리어) 가 제외되었습니다.
• 일반화: 발견된 사실은 특정 사실 회상 벤치마크 (KLAR-CLC) 에 기반하며, 추론이나 개방형 생성과 같은 다른 NLP 작업으로 일반화되지 않을 수 있습니다.
• 모델 규모: 실험은 최대 14B 파라미터 모델로 제한되었으며, 더 큰 모델의 경향은 여전히 열린 질문입니다.
• 해석 가능성: 기계적 분석 (계층별 순위) 은 단일 모델 (Llama-3.1-8B-Instruct) 에서 수행되었으며, 포괄적이기보다는 예시적으로 간주되어야 합니다.