💬 NLP

Exploring Language-Agnosticity in Function Vectors: A Case Study in Machine Translation

이 논문은 다국어 LLM 에서 추출된 함수 벡터가 언어에 구애받지 않는 특성을 가지며, 영어에서 특정 언어로의 번역에 학습된 벡터가 다른 미처 보지 못한 언어들의 번역 성능을 일관되게 향상시킨다는 것을 확인했습니다.

원저자: Nurkhan Laiyk, Gerard I. Gállego, Javier Ferrando, Fajri Koto

게시일 2026-04-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nurkhan Laiyk, Gerard I. Gállego, Javier Ferrando, Fajri Koto

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🌍 핵심 아이디어: "언어는 달라도, 번역하는 '마음'은 같다?"

우리가 흔히 생각하는 AI 번역기는 "영어를 프랑스어로 바꾸는 기계"와 "영어를 스페인어로 바꾸는 기계"가 따로 있는 것처럼 작동한다고 생각하기 쉽습니다. 하지만 이 연구는 그게 아니라고 말합니다.

AI 의 뇌 (모델) 안에는 **"무엇을 번역할지"에 대한 공통된 생각 (기능 벡터)**이 하나 있고, 이 생각은 어떤 언어로든 번역하든 똑같이 작동한다는 것이죠.

🪄 비유 1: 번역 마법 지팡이 (Function Vectors)

연구자들이 발견한 **'기능 벡터 (Function Vectors)'**를 상상해 보세요.

상황: AI 가 영어 단어 'Festival'을 보고 번역을 하려고 할 때, 연구자들은 AI 의 뇌에 아주 작은 **마법 지팡이 (벡터)**를 꽂아줍니다.
기대: 이 지팡이는 원래 "영어를 이탈리아어로 번역하는 법"을 가르치기 위해 만들었습니다.
결과: 놀랍게도 이 지팡이를 꽂으니, AI 는 이탈리아어뿐만 아니라 러시아어, 힌디어, 아랍어 등 전혀 다른 언어로도 'Festival'을 잘 번역하기 시작했습니다!
의미: 이 마법 지팡이는 특정 언어 쌍 (영어→이탈리아어) 에만 국한된 것이 아니라, "번역"이라는 행위 자체를 수행하는 보편적인 도구였던 것입니다.

🏗️ 비유 2: 건물의 중간 층 (중간 레이어)

AI 는 여러 층으로 이루어진 거대한 빌딩과 같습니다.

1 층 (입력): 영어 단어를 받아들이는 곳.
최상층 (출력): 번역된 단어를 내뱉는 곳.
중간 층: 정보를 처리하고 생각하는 곳.

연구자들은 이 마법 지팡이가 빌딩의 중간 층에서 가장 강력하게 작동한다는 것을 발견했습니다. 마치 건물의 10~15 층 사이에 있는 **'번역 전용 엘리베이터'**가 있어서, 이곳을 지나면 어떤 언어로 가든 목적지 (올바른 번역) 로 잘 도달한다는 뜻입니다.

🔍 비유 3: 마법 지팡이를 빼면? (Ablation 실험)

연구자들은 "이 마법 지팡이가 정말 중요한가?"를 확인하기 위해, 마법 지팡이를 강제로 빼내는 실험을 했습니다.

결과: 마법 지팡이를 빼자 AI 는 번역을 잘 못하게 되었습니다. 특히 영어→프랑스어뿐만 아니라, 영어→스페인어, 영어→중국어 등 다른 언어로 번역할 때도 실수가 늘어났습니다.
반면: 번역이 아닌 다른 일 (예: "사과가 몇 개야?" 같은 일반 질문) 을 할 때는 마법 지팡이를 빼도 전혀 문제가 없었습니다.
결론: 이 마법 지팡이는 번역이라는 특수한 임무에만 관여하는 '전용 도구'임을 증명했습니다.

🧩 비유 4: 기초 모델에서 교육받은 모델로 (Transfer)

이 연구는 또 다른 놀라운 사실을 발견했습니다.

기초 모델 (Base Model): 아직 교육받지 않은 AI (유아).
교육받은 모델 (Instruction-tuned Model): 많은 지시사항을 배운 AI (성인).

유아 단계에서 만든 번역 마법 지팡이를 성인 AI 에게도 주니, 성인 AI 도 그 지팡이를 잘 사용해서 번역을 잘했습니다. 이는 이 '번역 마법'이 AI 가 성장하는 과정에서도 변하지 않는 불변의 원리임을 보여줍니다.

📝 요약: 이 연구가 왜 중요할까요?

AI 는 언어를 따로따로 배우지 않는다: AI 는 각 언어마다 별도의 번역기를 만드는 게 아니라, **"의미를 전달하는 공통된 방식"**을 하나 배우고, 그것을 다양한 언어에 적용합니다.
효율적인 제어: 우리는 특정 언어 쌍 (예: 영어→한국어) 만 학습시킨 작은 데이터로 만든 '지팡이'를 가져와서, 전 세계 모든 언어 번역을 향상시킬 수 있습니다.
미래의 가능성: 이 원리를 이해하면, 더 적은 데이터로도 더 똑똑하고 다양한 언어를 구사하는 AI 를 만들 수 있게 됩니다.

한 줄 요약:

"AI 의 뇌속에는 '번역'이라는 보편적인 마법 지팡이가 숨어있는데, 이 지팡이는 특정 언어에 구애받지 않고 전 세계 모든 언어를 통달하게 해줍니다."

논문 요약: 기능 벡터 (Function Vectors) 의 언어 중립성 탐구

이 논문은 대규모 언어 모델 (LLM) 의 내부 표현에서 추출된 기능 벡터 (Function Vectors, FVs) 가 특정 언어에 국한되지 않고 언어 중립적 (Language-agnostic) 인지 여부를 기계 번역 (Machine Translation) 작업을 사례 연구로 분석합니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 최근 연구들은 다국어 LLM 의 내부 표현 (representation) 이 언어 정체성과 무관하게 의미나 문법적 개념을 인코딩한다는 '언어 중립성'을 입증했습니다. 또한, 특정 회로 (circuit) 나 문법 개념이 여러 언어 간에 공유된다는 사실도 확인되었습니다.
문제: 이러한 언어 중립성이 작업 수준 (task-level) 의 표현인 기능 벡터 (FV) 에도 적용되는지는 명확하지 않았습니다. FV 는 소수의 맥락 학습 (In-Context Learning, ICL) 예시에서 추출되어 모델의 잔류 스트림 (residual stream) 에 추가하면 특정 태스크 (예: 번역) 를 수행하게 만드는 벡터입니다.
핵심 질문: 단일 언어 쌍 (예: 영어→프랑스어) 으로 추출된 번역 FV 가 다른 목표 언어 (예: 영어→스페인어, 영어→독일어 등) 로도 일반화되어 올바른 번역을 유도할 수 있는가?

2. 방법론 (Methodology)

모델 및 데이터:
- 모델: Gemma-2-2B, Llama-3.2-3B, Tiny Aya 등 3 개의 디코더 전용 다국어 LLM 사용.
- 데이터: 영어에서 프랑스어, 독일어, 스페인어로의 단어 쌍 (word-pair) 데이터셋을 사용하여 번역 FV 를 추출.
- 평가: 120 개의 영어 단어를 사용하여 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 러시아어, 아랍어, 중국어, 일본어, 힌디어 등 10 개 언어로 번역 성능을 평가.
FV 추출 및 개입 (Intervention):
- 추출: ICL 프롬프트 (예시 쌍) 와 라벨을 무작위로 섞은 손상된 (corrupted) 프롬프트를 비교하여, 정답 확률을 높이는 어텐션 헤드 (attention heads) 를 식별. 해당 헤드들의 평균 출력을 합산하여 FV 생성.
- 개입: 생성된 FV 를 추론 시 모델의 잔류 스트림 (residual stream) 에 특정 레이어에서 추가하여 모델 행동을 유도.
- 평가 지표: 정답 토큰의 순위 변화 ( $\Delta rank$ ). FV 적용 후 정답 토큰이 분포 상단으로 이동하는지 확인.
추가 실험:
- Ablation Study: FV 방향을 잔류 스트림에서 제거하여 번역 성능 저하를 측정.
- Transfer: 베이스 모델에서 추출한 FV 를 인스트럭션 튜닝 (Instruction-tuned) 모델에 적용.
- Sentence-level: 단어 단위에서 문장 단위 (FLORES-200 데이터셋) 로 확장하여 번역 품질 (BLEU, XCOMET) 평가.

3. 주요 기여 및 결과 (Key Contributions & Results)

1) 언어 중립적인 번역 FV 의 발견

결과: 단일 방향 (예: 영어→스페인어) 으로 추출된 FV 를 적용했을 때, 다른 목표 언어들 (프랑스어, 독일어, 아랍어 등) 에서도 정답 번역 토큰의 순위가 일관되게 상승했습니다.
의미: 추출된 FV 가 특정 언어 쌍에 국한된 매핑이 아니라, 여러 언어에 공통적으로 적용 가능한 번역 태스크의 추상적 표현을 포착하고 있음을 시사합니다.

2) 공유된 어텐션 헤드 (Shared Heads) 의 확인

결과: 서로 다른 번역 방향 (EN→ES, EN→FR, EN→DE) 에서 추출된 FV 를 구성하는 상위 10 개 어텐션 헤드를 비교한 결과, 6~8 개의 헤드가 모든 방향에서 공통적으로 선택되었습니다.
의미: 번역 태스크를 수행하는 핵심 계산 로직이 여러 언어 간에 공유되는 특정 어텐션 헤드에 위치하고 있음을 보여줍니다.

3) FV 제거 (Ablation) 실험 및 특이성

결과: 추출된 FV 를 모델에서 제거 (ablation) 했을 때, 모든 목표 언어에서 번역 성능이 저하되었습니다. 반면, 일반 NLP 태스크 (ARC, BoolQ, MMLU 등) 의 성능에는 큰 변화가 없었습니다.
의미: 해당 FV 방향이 번역 태스크에 필수적인 '언어 중립적 하위 공간 (subspace)'을 인코딩하고 있으며, 이는 번역에 특화된 메커니즘임을 입증합니다.

4) 모델 및 태스크 간 전이 (Transferability)

베이스 → 인스트럭션 튜닝: 베이스 모델에서 추출한 FV 가 인스트럭션 튜닝 모델에서도 유효하게 작동하여 번역 성능을 향상시켰습니다.
단어 → 문장: 단어 수준의 제어된 환경에서 발견된 효과가 문장 수준의 번역에도 부분적으로 전이되었습니다. 다만, 문장 생성의 복잡성 (유창성, 어순 재배열 등) 으로 인해 단어 단위만큼 일관되지는 않았습니다.

5) 레이어별 특성

번역 관련 효과는 모델의 모든 레이어에 고르게 분포하지 않고, 중간 레이어 (middle layers) 에 집중되어 있었습니다. 이는 기존 연구에서 번역 관련 계산이 중간 표현에 국한된다는 발견과 일치합니다.

4. 의의 및 결론 (Significance & Conclusion)

이론적 확장: 기존에 '표현 (representations)', '문법 개념 (grammatical concepts)', '회로 (circuits)' 수준에서 확인되었던 언어 중립성 가설을 기능 벡터 (Function Vectors) 라는 태스크 수준의 표현으로 확장했습니다.
실용적 함의:
- 특정 언어 쌍의 데이터만으로 추출된 FV 를 통해 다국어 번역 능력을 유도할 수 있어, 데이터 효율적인 모델 제어 기법으로 활용 가능합니다.
- 모델의 내부 메커니즘을 이해하고, 특정 태스크 (번역) 를 선택적으로 강화하거나 약화시키는 정밀한 제어 (steering) 가 가능함을 보여줍니다.
결론: 기능 벡터는 언어에 구애받지 않는 태스크 표현을 포착할 수 있으며, 이는 다국어 LLM 이 다양한 언어 간에 공유된 계산 구조를 가지고 있음을 강력하게 지지하는 증거입니다.

요약: 이 논문은 기계 번역을 통해 기능 벡터 (FV) 가 특정 언어에 의존하지 않고 여러 언어에 걸쳐 번역 능력을 유도할 수 있음을 실험적으로 증명했습니다. 단일 언어 쌍으로 추출된 FV 가 다국어 번역 성능을 향상시키고, 이를 제거하면 번역만 저하되며 일반 능력은 유지된다는 사실은, LLM 내부에 언어 중립적인 번역 계산 메커니즘이 존재함을 시사합니다.