arXiv💬 cs.CL

France or Spain or Germany or France: A Neural Account of Non-Redundant Redundant Disjunctions

이 논문은 '프랑스 또는 스페인, 혹은 독일 또는 프랑스'와 같은 겉보기에 중복된 선택적 문장이 맥락에 따라 수용 가능해지는 현상을 기존 기호론적 분석을 보완하는 신경망 기반 설명으로 규명하며, 인간과 대규모 언어 모델의 실험적 증거를 바탕으로 문맥 관련 정보를 반복된 어휘에 결합하고 트랜스포머 유도 헤드가 이를 선택적으로 주시하는 두 가지 메커니즘이 중복 회피를 가능하게 한다고 주장합니다.

Sasha Boguraev, Qing Yao, Kyle Mahowald

게시일 2026-03-02
📖 3 분 읽기☕ 가벼운 읽기
보기: arXiv ↗PDF ↗

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"왜 같은 단어를 반복해도 문장이 이상하지 않을 때가 있을까?"**라는 흥미로운 질문에서 시작합니다.

예를 들어, "그녀는 프랑스나 스페인으로 가거나, 어쩌면 독일이나 프랑스로 갈 수도 있다"라고 하면, '프랑스'라는 단어가 두 번 나와서 중복되어 보이지만, 문맥이 적절하면 전혀 이상하지 않습니다. 이 논문은 인간과 인공지능 (AI) 이 어떻게 이런 미묘한 언어의 규칙을 이해하는지, 특히 AI 의 뇌 (신경망) 안에서 어떤 일이 일어나는지 밝혀냈습니다.

이 복잡한 연구를 세 가지 쉬운 비유로 설명해 드릴게요.

1. 상황극 배우와 같은 AI (문맥의 중요성)

상상해 보세요. 무대 위에 배우가 서 있습니다.

  • 상황 A: 배우가 "나는 오늘 피자를 먹거나 파스타를 먹을 거야. 아니면 피자를 먹거나 샐러드를 먹을 거야."라고 말합니다. 여기서 '피자'가 두 번 나오면 우리는 "어? 피자 왜 또 말해?"라고 생각하며 중복을 느낍니다.
  • 상황 B: 하지만 배우가 "나는 철학 전공으로 프랑스나 스페인으로 갈 거야. 아니면 수학 전공으로 독일이나 프랑스로 갈 거야."라고 말한다면? 이때는 '프랑스'가 두 번 나와도 전혀 이상하지 않습니다. 왜냐하면 첫 번째 '프랑스'는 '철학'과 연결되고, 두 번째 '프랑스'는 '수학'과 연결되기 때문입니다.

이 논문은 **인공지능 (LLM)**도 인간처럼 이 '상황극'을 잘 이해한다는 것을 증명했습니다.

  • 작은 AI는 문맥을 잘 못 읽어서, '프랑스'가 두 번 나오면 그냥 "아, 중복이네"라고 생각하거나 무작위로 다른 단어를 고릅니다.
  • 큰 AI는 "아! 첫 번째 프랑스는 철학 관련이고, 두 번째 프랑스는 수학 관련이구나!"라고 파악해서, 자연스럽게 '프랑스'를 다시 말해줍니다.

2. AI 의 '메모장'과 '색깔 펜' (활성화 패칭 실험)

AI 가 어떻게 이걸 알아낼까요? 연구자들은 AI 의 내부 메모를 들여다봤습니다. 이를 **'활성화 패칭 (Activation Patching)'**이라고 하는데, 마치 AI 의 뇌를 수술하듯 특정 부분을 바꿔보는 실험입니다.

  • 비유: AI 가 문장을 읽을 때, '프랑스'라는 단어를 메모장에 적습니다.
    • 작은 AI 는 그냥 "프랑스"라고만 적습니다.
    • 큰 AI 는 **"프랑스 (철학용)"**와 **"프랑스 (수학용)"**로 메모장에 다른 색깔의 펜으로 적어둡니다.
  • 실험 결과: 연구자들이 AI 의 메모장을 인위적으로 바꿔보니까, '철학용 프랑스'를 '수학용 프랑스'로 바꿔주니 AI 가 헷갈려서 문장을 잘못 이었습니다. 이는 AI 가 단순히 단어를 외운 게 아니라, 단어 주변에 있는 '상황 (문맥)'을 단어가 가진 정보에 섞어서 저장하고 있다는 뜻입니다.

3. AI 의 '초점 카메라' (인덕션 헤드)

그렇다면 AI 는 언제 이 '상황이 섞인 프랑스'를 다시 꺼내 쓸까요? 여기서 등장하는 것이 **인덕션 헤드 (Induction Heads)**입니다. 이는 AI 의 '패턴 찾기 카메라' 같은 역할을 합니다.

  • 비유: AI 는 문장을 읽을 때 카메라로 앞뒤를 훑어봅니다.
    • 중복이 허용되지 않는 경우 (예: "프랑스, 스페인, 이탈리아, 프랑스"): 카메라는 "여기 프랑스가 또 나오네? 중복이야!"라고 생각해서 카메라 초점을 피합니다. (따라서 프랑스를 반복하지 않음)
    • 중복이 허용되는 경우 (예: "철학-프랑스, 수학-프랑스"): 카메라는 "아! 앞쪽의 '철학'과 연결된 프랑스가 있었지? 지금 나오는 건 '수학'과 연결된 프랑스야. 이건 중복이 아니야!"라고 생각해서 카메라 초점을 정확히 맞춥니다.

연구자들은 이 '카메라'가 문장의 순서 (어떤 단어가 먼저 나왔는지) 에 매우 민감하게 반응한다는 것도 발견했습니다. 특히 두 번째 문장 부분의 순서가 일치할 때, AI 는 가장 정확하게 '프랑스'를 다시 말해줍니다.

결론: 기호 vs 뇌

이 논문은 언어학자들이 "논리적으로 A 또는 B, C 또는 A 라면 중복이야"라고 **기호 (수학 공식)**로 설명해 온 것을, **인공지능의 뇌 (신경망)**가 어떻게 실제 작동으로 풀어내는지 보여줍니다.

  • 기호적 설명: "가능성 모달 (possibility modal)"이라는 논리 장치를 써서 설명합니다.
  • 신경망적 설명: "단어에 문맥 정보를 색깔로 입히고, 카메라가 그걸 찾아서 복사한다"로 설명합니다.

결론적으로, 인간과 큰 AI 는 모두 "상황이 허락하면 같은 말을 반복해도 괜찮다"는 규칙을 공유합니다. 다만 AI 는 이 규칙을 논리 공식으로 계산하는 게 아니라, 단어와 문맥을 뗄 수 없는 하나의 덩어리로 기억하고, 필요한 순간에 그 정보를 꺼내 쓰는 방식으로 해결한다는 점이 신비롭습니다.

이 연구는 **"언어의 미묘한 규칙을 AI 가 어떻게 '느끼고' 있는지"**를 보여주는 아주 멋진 사례입니다.

유사한 논문

Less is More: Adapting Text Embeddings for Low-Resource Languages with Small Scale Noisy Synthetic Data

이 논문은 소규모의 노이즈가 포함된 합성 데이터로만 저자원 언어의 텍스트 임베딩 모델을 미세 조정하더라도 대규모 고품질 데이터로 학습한 모델과 유사한 성능을 달성할 수 있다는 'Less is More' 현상을 입증하여, 제한된 자원을 가진 커뮤니티를 위한 고성능 임베딩 생성을 민주화함을 보여줍니다.

Zaruhi Navasardyan, Spartak Bughdaryan, Bagrat Minasyan, Hrant Davtyan2026-03-25💬 cs.CL

Evaluating Large Language Models' Responses to Sexual and Reproductive Health Queries in Nepali

이 논문은 네팔어 성 및 생식 건강 질문을 평가하기 위해 정확성, 언어, 사용성, 안전성 등 다차원적 기준을 제시한 'LEAF' 프레임워크를 개발하고, 이를 통해 현재 대규모 언어 모델이 적절하고 안전한 답변을 제공하는 비율이 35.1% 에 불과하다는 한계를 드러냈습니다.

Medha Sharma, Supriya Khadka, Udit Chandra Aryal, Bishnu Hari Bhatta, Bijayan Bhattarai, Santosh Dahal, Kamal Gautam, Pushpa Joshi, Saugat Kafle, Shristi Khadka, Shushila Khadka, Binod Lamichhane, Shilpa Lamichhane, Anusha Parajuli, Sabina Pokharel, Suvekshya Sitaula, Neha Verma, Bishesh Khanal2026-03-25💬 cs.CL