💬 NLP

When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models

이 논문은 사전 학습된 대규모 언어 모델들을 확장한 통합 생성 프레임워크인 UniLang이 자연어와 함께 기계 친화적 심볼(machine-native symbols)을 네이티브하게 처리하고 생성함으로써, 언어 모델링과 구조적 예측 사이의 간극을 별도의 구어화(verbalization)나 작업 특화 아키텍처 없이 메울 수 있음을 소개한다.

원저자: Su Yan, Rakesh Iyer

게시일 2026-08-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Su Yan, Rakesh Iyer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 광활한 풍경 속에서, 세상을 묘사하는 두 가지 방식 사이에는 오랫동안 조용한 긴장이 존재해 왔습니다. 한쪽에는 우리가 사용하는 언어, 즉 인간이 이야기, 아이디어, 감정을 공유하기 위해 사용하는 유동적이고 풍부한 매체가 있습니다. 에세이를 쓰거나 질문에 답할 수 있는 강력한 컴퓨터 프로그램인 거대 언어 모델은 이러한 인간의 언어로 학습됩니다. 그들은 단어를 통해 세상을 이해합니다. 다른 한쪽에는 기계의 언어, 즉 코드와 숫자로 이루어진 경직되고 압축된 시스템이 있습니다. 컴퓨터는 특정 영화나 법적 판결과 같은 복잡한 정보를 텍스트 한 단락이 아니라, 짧고 효율적인 기호의 문자열로 저장하곤 합니다. 이 기호들은 계산과 저장에는 완벽하지만, 인간의 단어에 의존하는 언어 모델들에게는 보이지 않는 존재입니다. 수년 동안 연구자들은 이 두 세계 사이에서 선택을 해야 했습니다. 컴퓨터가 기계 코드를 이해하게 하려면 종종 이를 먼저 문장으로 번역해야 했는데, 이 과정에서 중요한 세부 사항이 손실될 수 있었습니다. 또는 코드만을 위한 특별하고 별도인 시스템을 구축해야 했으며, 이 경우 언어 모델이 가진 강력한 지식을 뒤에 남겨두어야 했습니다.

구글의 한 연구팀은 이제 번역을 강요하지 않고 이 두 세계를 결합하는 방법을 제안했습니다. 그들은 유니랭(UniLang)이라는 새로운 프레임워크를 도입하여, 표준 언어 모델이 기계 코드를 마치 단어처럼 취급할 수 있도록 했습니다. 기계 기호를 "1999년의 영화"와 같은 문장으로 변환하는 대신, 모델은 "영화"라는 단어를 생성하는 것과 똑같이 기호 자체를 출력의 직접적인 일부로서 생성하는 법을 배웁니다. 연구진은 이 아이디어를 매우 다른 두 가지 문제, 즉 한 사람의 기록을 바탕으로 다음에 무엇을 시청할지 예측하는 것과, 과거의 판례에서 새로운 법적 논거를 뒷받침하는 정확한 문장을 찾는 것에 대해 테스트했습니다. 두 경우 모두, 새로운 방법은 순수 텍스트나 순수 코드에 의존했던 기존 시스템보다 더 나은 성능을 보였습니다. 모델이 인간의 언어와 기계 기호를 동시에 말할 수 있게 함으로써, 연구진은 인공지능이 인간의 책과 웹사이트를 읽으며 배운 방대한 지식을 여전히 활용하면서도 구조화된 데이터를 더 정확하게 처리할 수 있음을 보여주었습니다.

이 작업의 핵심은 연구진이 컴퓨터에게 이러한 기계 기호를 어떻게 보여주었느냐에 있습니다. 모든 책에 고유한 바코드가 있는 도서관을 상상해 보십시오. 오랫동안 영어만 할 줄 아는 사서는 바코드를 이해할 수 없었기에, 책의 내용을 알기 위해서는 표지에 적힌 제목을 읽어야만 했습니다. 새로운 방법은 사서에게 새로운 도구를 제공합니다. 그들은 바코드의 특정 선 패턴이 "우주 여행에 관한 책"을 의미한다는 것을, 설명을 읽어서가 아니라 그 패턴과 대상 사이의 직접적인 연결을 학습함으로써 배우게 합니다. 연구에서 연구진은 영화나 법률 사례와 같은 수천 개의 항목을 이러한 압축된 기계 코드로 변환했습니다. 그런 다음 이 코드들을 동일한 항목의 텍스트 설명과 정렬하는 학습 과정을 사용했습니다. 이는 컴퓨터가 특정 영화의 코드를 보았을 때, "1980년대 액션 영화"라는 단어를 이해하는 것과 같은 방식으로 그 코드를 이해하게 되었음을 의미합니다.

컴퓨터가 이 새로운 어휘를 학습하자, 연구진은 보통 두 가지 다른 유형의 사고를 요구하는 과업들을 수행하도록 했습니다. 첫 번째 테스트에서 컴퓨터는 추천 엔진 역할을 했습니다. 컴퓨터는 일반적인 영어로 된 제목과 장르로 설명된 사람이 시청한 영화 목록과 그 영화들의 기계 코드를 제시받았습니다. 그런 다음 컴퓨터는 다음 영화를 예측해야 했습니다. 제목을 추측하는 대신, 컴퓨터는 다음 영화의 연도와 장르를 포함한 기계 코드를 생성했습니다. 이 접근 방식은 데이터의 정밀한 구조를 온전히 유지했습니다. 두 번째 테스트에서 컴퓨터는 법률 연구가 역할을 했습니다. 컴퓨터는 새로운 판례의 한 단락을 전달받았고, 그 논거를 뒷받침하는 과거 판례의 특정 문장을 찾아내라는 요청을 받았습니다. 마찬가지로, 컴퓨터는 단순히 키워드를 검색하는 것이 아니라, 맥락과 일치하는 과거 사례의 정확한 단락을 나타내는 기계 코드를 생성했습니다.

테스트 결과는 명확하고 일관적이었습니다. 영화 추천 과업에서 새로운 방법은 텍스트나 코드만을 사용하여 문제를 해결하려 했던 다른 시스템들을 유의미하게 앞질렀습니다. 가장 큰 규모의 영화 데이터셋에서, 이 새로운 접근 방식은 일부 이전 방법들과 비교했을 때 올바른 추천을 찾아내는 정확도를 100% 이상 향상시켰습니다. 법률 과업에서도 이 방식은 법률 텍스트를 위해 설계된 시스템들보다 훨씬 더 자주 올바른 정답 문장을 찾아냈습니다. 연구진은 이러한 성공의 열쇠가 단순히 코드를 추가하는 것이 아니라, 인간의 언어를 함께 유지하는 데 있었다는 것을 발견했습니다. 텍스트 설명을 제거하고 컴퓨터가 코드만으로 작업하게 했을 때, 시스템은 길을 잃고 헤맸습니다. 인간의 언어는 컴퓨터가 기호 이면에 담긴 의미를 이해하는 데 도움을 주는 필수적인 맥락, 즉 일종의 접지(grounding) 역할을 제공했습니다.

이 작업은 인공지능이 어떻게 진화할 수 있는지에 대한 새로운 경로를 제시합니다. 오랫동안 이 분야는 언어와 구조화된 데이터를 서로 다른 도구가 필요한 별개의 영역으로 취급해 왔습니다. 연구진은 통합 프레임워크가 두 언어를 모두 유창하게 구사하며, 기계 코드와 인간의 단어를 대화의 동등한 파트너로 취급할 수 있음을 입증했습니다. 이는 컴퓨터가 인간의 언어를 이해하는 것을 멈춘다는 의미가 아니라, 디지털 세계와 직접 상호작용하는 능력을 확장한다는 것을 의미합니다. 연구는 이러한 기계 고유의 기호들을 모델의 어휘에 통합함으로써, 시스템이 인간의 텍스트를 읽으며 얻은 풍부한 세상 지식을 잃지 않으면서도 복잡하고 구조화된 정보를 처리할 수 있음을 보여주었습니다. 연구진은 이 시스템이 이러한 예측 과업에서는 뛰어난 성과를 보였지만, 이 새로운 사고 방식이 모델의 시 쓰기나 이야기 구성 능력에 어떤 영향을 미치는지에 대해서는 테스트하지 않았으며, 이는 향후 탐구의 과제로 남겨두었다고 언급했습니다.

이 접근 방식의 영향은 영화나 법률 사례를 넘어 확장됩니다. 연구진은 동일한 프레임워크가 모델의 기본 구조를 변경하지 않고도 다양한 유형의 구조화된 데이터에 적용될 수 있음을 보여주었습니다. 과업이 시퀀스 내의 다음 항목을 예측하는 것이든, 방대한 법률 데이터베이스에서 특정 구절을 찾는 것이든, 방법은 동일했습니다. 이러한 유연성은 미래에 인공지능 시스템이 매번 새로운 유형의 데이터에 맞춰 처음부터 다시 구축될 필요가 없을 수도 있음을 시사합니다. 대신, 통합 프레임워크가 적절한 기호를 생성하는 법을 배우는 것만으로도 의료 기록에서 금융 거래에 이르기까지 어떤 시스템의 고유한 "언어"도 이해할 수 있게 될 것입니다. 이 연구는 인간의 언어와 기계 코드 사이의 간극을 메울 수 있다는 개념 증명을 제공하며, 인공지능이 현대 세계의 상당 부분을 뒷받침하는 구조화된 환경 내에서 더욱 자연스럽게 작동할 수 있도록 해줍니다.

기술 요약: UniLang – 머신 네이티브 심볼 통합을 위한 통합 생성 프레임워크

문제 정의

현대 AI 시스템은 엔티티, 행동 및 구조화된 정보를 자연어가 아닌 이산적인 머신 네이티브 심볼(예: 벡터 양자화 코드, 시맨틱 ID, ICD 코드)을 사용하여 표현하는 경우가 많습니다. 이러한 표현 방식은 압축적이고 계산 효율적이며 명시적인 구조적 정보를 보존하지만, 사전 학습된 대규모 언어 모델(LLM)의 언어적 토큰 공간 밖에 존재합니다.

이는 근본적인 방법론적 분절을 야기합니다:

언어화 접근 방식(Verbalization Approaches): 구조화된 데이터를 자연어 설명으로 변환하는 방식은 LLM이 이를 처리할 수 있게 해주지만, 고유한 구조를 모호하게 만들고, 모호성을 도입하며, 머신 수준의 정밀도를 희생할 위험이 있습니다.
태스크 특화 모델(Task-Specific Models): 머신 네이티브 심볼을 직접 다루는 방식은 구조를 보존하지만, 통합된 생성 공간 내에서 사전 학습된 LLM에 인코딩된 언어적 및 세계 지식을 활용하지 못합니다.

핵심적인 한계는 표현력에 있습니다. 즉, 사전 학습된 LLM은 머신 네이티브 심볼을 자연어 토큰과 함께 **제1급 생성 단위(first-class generative units)**로 취급할 수 있는 통합된 인터페이스가 부족합니다.

방법론: UniLang 프레임워크

UniLang은 사전 학습된 LLM을 확장하여 자연어 토큰과 머신 네이티브 심볼을 단일 자기회귀 목적 함수(autoregressive objective) 하에서 공동으로 모델링하는 통합 생성 프레임워크를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 머신 네이티브 표현의 구축

UniLang은 특정 생성 메커니즘에 구애받지 않으나, 본 연구에서는 **잔차 양자화 변이형 오토인코더(RQ-VAE)**를 활용합니다.

프로세스: 아이템의 텍스트 설명(예: 영화 제목, 법률적 맥락)을 밀집 임베딩(dense embeddings)으로 인코딩한 후, 여러 양자화 레벨( $l=3$ )에 걸쳐 일련의 코드로 이산화합니다.
모호성 해소: 코드 충돌을 완화하기 위해 추가적인 레벨을 덧붙입니다.
토큰화: 이 코드들에 레벨별 접두사(prefix)를 붙여 시맨틱 ID(SIDs)(예: A11, B43)를 형성합니다. 이러한 SID는 자연어와 결합되어 머신 토큰이 별개의 생성 단위로 기능하는 확장된 어휘 집합을 형성합니다.

2. 어휘 확장 및 시맨틱 그라운딩(Semantic Grounding)

이 새로운 토큰들을 통합하기 위해 UniLang은 대조적 그라운딩(contrastive grounding) 절차를 수행합니다.

어휘 확장: 사전 학습된 LLM의 어휘를 학습 가능한 임베딩으로 초기화된 고정된 머신 토큰 세트( $V_{ML}$ )로 확장합니다.
대조적 정렬: InfoNCE 스타일의 대조 손실(contrastive loss)을 사용하여 머신 토큰 시퀀스의 임베딩( $z^{ML}_i$ )을 그에 대응하는 자연어 텍스트 설명의 임베딩( $z^{NL}_i$ )과 정렬합니다.
학습 제약 조건: 이 단계 동안 머신 토큰 임베딩만 업데이트되며, 사전 학습된 LLM 파라미터와 자연어 임베딩은 동결(frozen)됩니다. 이는 새로운 심볼이 파괴적 망각(catastrophic forgetting) 없이 기존의 시맨틱 공간에 그라운딩되도록 보장합니다.

3. 통합 자기회귀 모델링(Unified Autoregressive Modeling)

그라운딩이 완료되면, 프레임워크는 모든 토큰(자연어 및 머신 심볼)을 동일하게 취급합니다.

단일 목적 함수: 모델은 표준 자기회귀 목적 함수를 사용하여 시퀀스의 다음 토큰을 예측합니다.
태스크 불가지론(Task Agnosticism): 태스크 특화적인 구조 변경이 필요하지 않습니다. 태스크는 입력-출력 시퀀스의 구성에 의해 정의됩니다.
구조적 생성: 출력은 구분자 토큰(예: <year>, <genre>, <sid>)을 사용하여 필드별로 생성됩니다. 예를 들어, 추천 시스템에서 모델은 원시 ID를 직접 예측하는 대신 메타데이터 필드와 그 뒤의 머신 네이티브 SID를 생성합니다.

주요 기여

통합 표현 인터페이스: 본 논문은 구조적 예측을 이질적인 토큰 유형에 대한 타입화된 자기회귀 생성으로 정식화하여, 머신 네이티브 심볼이 통합 프레임워크 내에서 제1급 단위로 기능할 수 있게 합니다.
그라운딩된 통합: 머신 네이티브 심볼을 LLM의 표현 공간으로 매핑하는 어휘 확장 및 대조적 그라운딩 절차를 도입하여, 이산적 구조를 유지하면서도 공동 모델링을 가능하게 합니다.
도메인 전반의 범용성: 본 프레임워크는 태스크 특화적인 모델 수정 없이, 두 가지 구조적으로 구별되는 태스크인 **순차적 추천(sequential recommendation)**과 **법률 판례 예측(legal precedent prediction)**에서 그 효용성을 입증했습니다.

실험 결과

저자들은 여섯 개의 실제 벤치마크 데이터셋(세 개의 순차적 추천 데이터셋: Amazon Beauty, MovieLens 1M, MovieLens 20M 및 세 개의 법률 판례 예측 분할: LePaRD 10k, 20k, 50k)에서 UniLang을 평가했습니다.

순차적 추천

베이스라인: 판별 모델(SASRec, BERT4Rec, S3-Rec) 및 생성형 베이스라인(P5, TIGER)과 비교했습니다.
성능: UniLang은 강력한 베이스라인들을 일관되게 능가했습니다. MovieLens-20M 데이터셋에서, UniLang은 가장 우수한 베이스라인인 TIGER와 비교하여 Recall@5에서 114.96% 개선, NDCG@5에서 151.73% 개선을 달성했습니다.
안정성: 여러 차례의 실행에 대한 통계적 분석을 통해 이러한 성능 향상의 안정성을 확인했습니다.

법률 판례 예측

베이스라인: 검색 방법(BM25, 미세 조정된 SBERT) 및 분류 모델(LEGAL-BERT, DistilBERT)과 비교했습니다.
성능: UniLang은 모든 베이스라인을 크게 앞질렀습니다. LePaRD 10k 데이터셋에서, UniLang은 가장 우수한 베이스라인인 LEGAL-BERT 대비 Recall@1에서 49.36%의 향상을 달성했습니다.
유의성: 이 결과는 동일한 모델링 접근 방식을 사용하여 (연대기적 사용자 상호작용 vs. 시맨틱 패시지 검색이라는) 근본적으로 다른 문제 구조에 프레임워크가 일반화될 수 있음을 보여줍니다.

어블레이션 연구(Ablation Studies)

MovieLens-20M에 대한 어블레이션 실험 결과는 다음과 같습니다:

자연어 맥락: 자연어 필드를 제거했을 때(NLRemoved) 성능 저하와 과적합이 발생했으며, 이는 자연어가 필수적인 규제 맥락을 제공함을 나타냅니다.
구조화: 타입 구분자를 제거했을 때(NoTypeDelim) 성능이 감소하였으며, 이는 최적화를 위한 명시적 구조화의 중요성을 강조합니다.
그라운딩: 대조적 그라운딩 없이 무작위로 초기화된 임베딩을 사용했을 때(NoWarmup) 학습이 완전히 실패하였으며, 이는 심볼을 LLM의 잠재 공간에 사전 정렬하는 것이 결정적임을 증명합니다.

의의 및 주장

본 논문은 UniLang이 사전 학습된 LLM을 언어 너머로 확장하여 이질적인 머신 네이티브 표현을 모델링할 수 있는 일반적인 인터페이스를 제공한다고 주장합니다.

통합 백본: 단일 생성 프레임워크가 다양한 구조적 예측 문제를 위해 태스크 특화된 아키텍처를 대체할 수 있음을 보여줍니다.
확장성: 전용 사용자 토큰이나 해싱 스킴을 사용하는 시스템(많은 어휘 공간을 소비함)과 달리, UniLang은 사용자 식별자를 자연어로 직접 표현할 수 있어 더 나은 확장성을 제공합니다.
효율성: 구조적 심볼을 제1급 토큰으로 취급함으로써, 구조화된 데이터를 언어화할 때 발생하는 표현적 모호성과 정보 손실을 피하는 동시에, 사전 학습된 LLM의 풍부한 세계 지식을 활용할 수 있습니다.

저자들은 프레임워크가 예측 정확도 측면에서는 탁월하지만, 심볼릭 파인튜닝이 모델의 자연어 생성 품질(유창성 및 일관성)에 미치는 영향은 향후 연구 과제로 남아 있다고 언급했습니다.