기술 요약: 대규모 언어 모델은 항상 읽기 쉬운 언어를 필요로 하는 것은 아니다

1. 문제 정의

현재 대규모 언어 모델(LLM)은 지식, 지시, 출력이 모두 인간이 읽을 수 있는 자연어로 인코딩되는 통일된 패러다임 하에서 작동하고 있다. 이러한 설계는 인간의 제어 가능성과 가독성을 최적화하지만, 기계 간 통신(machine-to-machine communication) 측면에서는 상당한 비효율성을 초[]{합한다. 인간의 언어는 인간의 이해를 돕기 위한 구문, 담화 표지, 서사적 일관성 등 상당한 중복성을 포함하고 있으며, 이는 의미 밀도를 낮추는 결과를 초래한다.

긴 문맥(long-context) 및 에이전트 시스템에서 이러한 중복성은 문맥 오버헤드에 관한 지속적인 병목 현상을 일으킨다. 기존의 문맥 압축 방식(예: 토큰 선택, 추상적 요약)은 일반적으로 인간이 읽을 수 있는 자연어의 제약 내에서 작동한다. 또한, 학습된 내부 표현은 종종 은닉 상태(hidden states)나 추가적인 훈련에 대한 접근을 필요로 하여, 블랙박스 API 환경에서의 유용성을 제한한다. 본 논문이 다루는 핵심 질문은 다음과 같다: 수신자가 인간이 아니라 LLM이라면, 반드시 의미 정보가 완전하게 인간이 읽을 수 있는 자연어로 인코딩되어야 하는가?

2. 방법론: BabelTele

저자들은 인간의 가독성을 기본 제약 조건에서 명시적으로 완화하는 모델 중심적 텍스트 표현 클래스인 BabelTele를 소개한다. 고정된 프로토콜이 아니라, BabelTele는 LLM이 압축되고 비표준적인 텍스트 형태를 생성하고 해석할 수 있는 능력에 대한 경험적 탐구(empirical probe)로 취급된다.

핵심 원칙

BabelTele는 다음 세 가지 원칙에 기반한 제로샷 프롬프팅(zero-shot prompting)을 통해 유도된다:

1. 범언어적 어휘 선택(Omnilingual Lexical Selection): 단일 언어의 제약을 완화하여 다양한 언어와 스크립트 전반에서 고밀도 어휘 단위를 선택한다.
2. 기호적 붕괴(Symbolic Collapse):* 장황한 언어 구조를 압축된 기호, 이모지, 수학적/논리적 연산자 및 문장 부호로 대체한다.
3. 회복 가능한 의미 밀도(Recoverable Semantic Density): 외부 코드북 없이도 역량 있는 LLM이 출력을 해석할 수 있도록 충분한 의미적 세부 사항을 보존한다.

이 방법론은 BabelTele를 경쟁적인 압축 알고리즘이 아니라 고밀도 표현의 한 계열(family)로 취급한다. 저자들은 이를 압축률, 의미적 충실도, 인간 가독성, 모델 간 전이 가능성, 그리고 다운스트림 유용성이라는 여러 차원에서 평가한다.

3. 주요 결과

3.1 가독성과 해독 가능성의 분리

실험 결과, BabelTele 표현은 인간에게는 가독성이 현저히 떨어지며(Dale-Chall 점수 16.70, 어려운 단어 비율 80.19%), 원래 텍스트나 자연어 요약에 비해 베이스 언어 모델에서의 가능도(likelihood)가 훨씬 낮은 것으로 나타났다(Perplexity가 한 자릿수 이상 높음).

• 인간 vs. 모델 성능: 인간 독자는 BabelTele 입력값에 대해 질의응답(QA) 정확도가 크게 하락했다. 반면, 지시 미세 조정된 LLM(예: Gemini 3.1 Pro)은 높은 정확도를 유지하였는데, 이는 해당 표현이 자연어의 전형성을 희생하면서도 핵심적인 의미 구조를 보존하고 있음을 나타낸다.
• 정보 밀도: BabelTele는 텍스트 양이 원래 길이의 **27.9%**로 압축되었을 때도 99.5%의 의미적 충실도를 유지한다.

3.2 효율성 및 인지적 오버헤드

• 정확도-유지 경계(Accuracy-Retention Frontier): BabelTele는 표준적인 추상적 요약 및 추출적 베이스라인(LLMLingua-2)과 비교했을 때 더 유리한 정확도-유지 경계를 형성한다. 특히 MeetingBank 데이터셋에서 강력한 압축 하에서도 높은 다운스트림 QA 정확도를 유지한다.
• 생각의 사슬(CoT) 오버헤드: 강력한 압축은 일반적으로 (모델이 증거를 재구성함에 따라) 응답 CoT 토큰 수를 증가시키지만, BabelTele는 고유한 오버헤드를 도입하지 않는다. BabelTele의 토큰 승수는 종종 요약본과 비슷하거나 더 낮으며, 이는 비용이 특정 BabelTele 형식 때문이 아니라 희소한 증거 추론(sparse evidence reasoning) 자체에 내재된 것임을 시사한다.

3.3 모델 간 전이 가능성

중요한 발견은 BabelTele가 **제로샷 교차 모델 전이성(zero-shot cross-model transferability)**을 보인다는 점이다.

• 한 모델(예: Gemini 3.1 Pro)에 의해 생성된 압축된 입력은 미세 조정 없이도 이질적인 모델들(예: Qwen, GPT-5.4, Kimi)에 의해 안정적으로 해석될 수 있다.
• 그러나 이 이식성은 절대적이지 않으며, 압축기-독자(compressor-reader) 쌍에 따라 달라진다. 공격적인 압축기는 다른 모델이 해독하기 어려운 기호 형태를 생성할 수 있으며, 성능 유지 정도는 모델 제품군에 따라 차이가 있다.
• 이해 능력은 모델 크기에 따라 단조롭게 증가하지 않는다. 즉, 대규모 모델이 소규모 모델보다 BabelTele 입력을 더 잘 수행하는 것은 아니며, 이는 이 현상이 단순히 규모의 문제가 아니라 기호 형태에 대한 특정 강건성(robustness)에 의존함을 시사한다.

3.4 다운스트림 태스크 성능

• 다중 에이전트 통신: 동종 및 이종 에이전트 설정 모두에서 BabelTele는 경쟁력 있는 태스크 점수(베이스라인의 96.6%~99.7%)를 유지하면서 에이전트 간 통신 오버헤드를 38.96%에서 44.21%까지 줄였다.
• 에이전트 메모리: LoCoMo 벤치마크에서 BabelTele는 원본 텍스트와 비교하여 최소한의 정확도 손실을 기록했으며, 표준 요약보다 더 많은 실행 가능한 세부 사항을 보존했다.
• 문맥 창 확장: 입력이 문맥 창을 초과할 때, BabelTele 기반의 청크 압축은 직접적인 절단(예: Code Repo QA에서 62.07% 대 55.17% 정확도)보다 우수한 성능을 보여 제한된 창 내에서 모델이 더 넓은 증거를 포착할 수 있게 했다.

4. 의의 및 주장

본 논문은 인간의 가독성, 자연어 전형성, 그리고 모델 측의 의미적 회복 가능성이 부분적으로 분리될 수 있다고 주장한다.

• 모델 네이티브 표현: 이 결과는 LLM 시스템의 중간 표현이 인간의 유창함이 아닌 모델의 해독 가능성과 의미 밀도에 최적화될 수 있음을 시사한다.
• 일반적 능력: 이러한 표현을 해석하는 능력은 특정 모델이나 훈련 설정의 산물이 아니라, 다양한 아키텍처를 가진 지시 미세 조정된 LLM들의 일반적인 능력인 것으로 보인다.
• 실용적 유용성: BabelTele는 압축기-독자 쌍이 호환되는 경우, 다운스트림 성능을 희생하지 않으면서 긴 문맥 및 다중 에이전트 워크플로우의 문맥 오버헤드를 줄이는 경로를 제공한다.

저자들은 BabelTele를 완성된 프로토콜이 아니라, "모델 네이티브" 텍스트 통신이 인간이 읽을 수 있는 자연어의 효율적인 대안이 될 수 있음을 보여주는 경험적 입증으로 위치시킨다.

5. 한계 및 리스크

저자들은 본 평가가 특정 벤치마크와 모델 제품군에 국한되어 있으며, LLM이 이러한 표현을 형성하는 근저의 메커니즘이 아직 설명되지 않았음을 언급한다. 또한 텍스트를 비표준 표현으로 변환하는 것이 안전이 중요한 영역에서 행동을 변화시킬 수 있는 잠재적 위험이 있으며, 사용된 벤치마크에 내재된 편향이 있을 수 있다는 점을 강조한다.