기술 요약: 파라메트릭 지식에 대한 교차 언어적 탐색 (Cross-Lingual Exploration)

문제 정의

대규모 언어 모델(LLM)은 매개변수 내에 방대한 양의 실세계 다국어 지식을 인코딩하고 있다. 그러나 이러한 파라메트릭 지식은 모든 언어에서 균일하게 접근 가능한 것은 아니다. 표준 추론 기법은 특정 언어로 질의했을 때 국지적 사실(localized facts)을 검색하는 데 실패하는 경우가 많으며, 이는 모델 내에 해당 지식이 존재함에도 불구하고 환각(hallucination)이나 오답을 유발한다. 이러한 현상은 교차 언어적 지식 전이 및 일관성의 격차를 만들어내는데, 즉 동일한 근본적 사실이 한 언어(예: 일본어)에서는 쉽게 접근 가능하지만 다른 언어(예: 영어)에서는 잠재되어 있거나 접근 불가능할 수 있다는 것이다. 저자들은 이러한 지식을 저장하고 접근하는 메커니즘이 파라메트릭 중첩(parametric superposition) 속에 정교하게 인코딩되어 있으며, 표준적인 단일 언어 추론 경로만으로는 모든 잠재적 사실을 끌어내기에 불충분하다고 상정한다.

방법론

본 논문은 모델의 내부적인 교차 언어 능력을 활용하여 숨겨진 사실적 지식을 표면화하는 추론 시 전략인 **교차 언어적 탐색(Cross-Lingual Exploration)**을 제안한다. 저자들은 언어 선택을 고정된 태스크별 프롬프트로 취급하는 대신, 교차 언어적 탐색을 네 가지 고유한 차원으로 정의된 구조화된 탐색 과정으로 프레임화한다:

1. 언어 선택 (Language Selection): 어떤 언어적 맥락($L_e$)을 조사할 것인지 결정한다. 전략은 고정된 피벗(예: 모든 것을 영어로 번로)부터, 모델이 사실의 문화적 기원을 추론하여 가장 적절한 추론 언어를 선택하는 자율적 모델 주도형 선택까지 다양하다.
2. 라우팅 (Routing): 탐색 궤적을 정의한다. 여기에는 단일 경로(Single-path) 전략(하나의 언어에 전념하거나 순차적으로 언어를 전환)과 다중 경로(Multi-path) 전략(여러 언어에서 독립적인 추론 궤적을 동시에 생성)이 포함된다.
3. 집계 (Aggregation): 여러 후보 궤적으로부터 최종 답변을 추출하는 메커니즘이다. 저자들은 다수결 투표(Majority Vote)(가장 빈번한 답변 선택)와 소수 인지(Minority-Aware) 선택(국지적 사실의 경우 다른 경로의 환각된 응답들 사이에서 소수가 정답일 수 있다는 추론)을 평가한다.
4. 추론 예산 (Inference Budget): 탐색 전략과 모국어 스케일링 간의 공정한 비교를 보장하기 위해 계산 비용(토큰 및 모델 호출 횟수)을 추적한다.

저자들은 이 차원들을 기반으로 일련의 전략들을 구현하였으며(논문의 표 1에 요약됨), 두 가지 벤치마크를 통해 평가하였다:

• ECLeKTic: 정보가 소스 언어에는 존재하지만 타겟 쿼리 언어에는 대응하는 표현이 없는 "언어 특화적" 사실들에 초점을 맞춘다.
• CLIKE: 전반적인 사실적 회상(factual recall)과 교차 언어적 일관성을 측정하기 위해 13개의 유형론적으로 다양한 언어에 걸친 일반적인 위키데이터(Wikidata) 사실들을 평가한다.

실험은 17개의 고유 언어를 아우르는 7개의 최첨단 모델(Gemini 2.5 Flash, GPT-4o, Qwen 3, Grok 4.1 포함)을 대상으로 수행되었다.

주요 결과

연구 결과, 교차 언어적 탐색은 평가된 모든 모델과 언어에서 성능을 유의미하게 향상시키는 것으로 나타났다:

• 지식 전이 (Knowledge Transfer): 교차 언어적 탐사는 사실이 다른 소스 언어에 국지되어 있을 때 타겟 언어로 쿼리에 답하는 능력을 일관되게 향상시킨다. 모국어 베이스라인과 비교했을 때, 탐색 전략은 ECLeKTic 데이터셋에서 최대 **21%**의 지식 전이 이득을 달了했다.
• 사실적 회상 (Factual Recall): 이점은 국지적 사실을 넘어 확장된다. 탐색은 CLIKE 벤치마크에서도 일반적인 사실적 회상을 높였으며, 이는 대안적인 언어적 경로를 탐색하는 것이 쿼리 언어에 명목상 존재하지만 표준적인 단일 언어 추론으로는 접근할 수 없는 파라메트릭 지식에 접근하는 데 도움이 됨을 시사한다.
• 이득의 메커니즘 (Mechanism of Gain): 저자들은 교차 언어적 탐색을 단일 언어 추론(동일 언어 내에서의 중간 "사고" 단계 사용)과 비교함으로써 이러한 이득의 원천을 분리해 냈다. 연구 결과, 단순한 추론 과정 자체보다 언어 전환(language shift) 자체가 접근 불가능한 지식을 해제하는 핵심 동력임을 발견했다. 자율 선택 전략(모델이 사실의 기원을 추론하는 방식)은 고정된 영어 피벗이나 오라클 기반의 소스 언어 라우팅보다 더 우수한 성능을 보였다.
• 효율성 (Pareto Frontier): 정확도와 토큰 비용을 도식화했을 때, 교차 언어적 탐색은 모국어 스케일링보다 더 효율적인 계산 파레토 프런티어(Pareto frontier)를 구축한다. 이는 단순히 모국어 내에서 추론 경로의 수를 늘리는 것보다 동일한 계산 예산 내에서 더 높은 정확도를 달성함을 의미한다.
• 교차 언어적 일관성 (Cross-Lingual Consistency): 본 논문은 내재적 일관성을 측정하기 위한 가설 검정 프레임워크를 도입했다. 결과는 교차 언어적 탐색이 정확도 향상만으로는 설명될 수 없는 수준을 넘어 언어 간 일관성을 유의미하게 개선하며, 이는 다운스트림 애플리케이션을 위한 더 견고하고 예측 가능한 동작을 제공함을 보여준다.

의의 및 주장

저자들은 자신들의 연구가 **다국어 프롬프트 탐색(multilingual prompt exploration)**을 잠재된 파라메트릭 지식을 해제하기 위한 매우 효과적인 추론 시 전략으로 확립했다고 주장한다. 이 연구의 의의는 다음과 같다:

1. "영어 피벗" 가정에 대한 도전: 모든 쿼리를 영어로 라우팅하는 것이 최적이 아님을 시사한다. 사실의 문화적 맥락에 따라 추론 언어를 자율적으로 선택하는 것이 더 우수한 결과를 낳는다.
2. 추론 시 스케일링의 재정의: LLM의 성능 향상은 단순히 계산량 스케일링(한 언어에서의 더 많은 토큰)의 관점이 아니라, 탐색 효율성(다양한 언어적 경로의 탐색)의 관점에서 바라봐야 한다고 주장한다. 교차 언어적 탐색은 숨겨진 지식에 접근하는 더 효율적인 경로를 제공한다.
3. 내재적 일관성: 이 연구는 일관성이 정확도와는 별개의 요구 사항임을 입증한다. 교차 언어적 탐색은 모델을 더 정확하게 만들 뿐만 아니라 언어 간에 더 일관되게 만들어, 신뢰할 수 있는 다국어 시스템을 구축하는 데 필수적인 속성을 제공한다.

저자들은 답변 집계가 여전히 병목 구간(지식 검색의 잠재적 상한선이 실현된 이득보다 높은 경우가 많기 때문)이지만, 모델이 전략적으로 교차 언어적 탐색을 수행하도록 명시적으로 훈련하는 것이 더 견고하고 사실적으로 접근 가능한 다국어 LLM을 구축하는 유망한 방향이라고 결론짓는다. 본 논문은 구체적인 아키텍처 변경을 제안하는 것이 아니라, 추론 시 전략을 위한 구조화된 설계 공간을 제시한다.