🤖 machine learning

Names Don't Matter: Symbol-Invariant Transformer for Open-Vocabulary Learning

이 논문은 병렬 임베딩 스트림과 집계된 어텐션을 통해 교체 가능한 토큰의 명칭 변경에 대한 증명 가능한 불변성을 달성함으로써, 오픈 보카블러리 학습 태스크에서 미학습 심볼에 대한 일반화 성능을 크게 향상시킨 새로운 트랜스포머 아키텍처를 소개한다.

원저자: İlker Işık, Wenchao Li

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: İlker Işık, Wenchao Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 논리 퍼즐을 푸는 법을 가르치고 있다고 상상해 보십시오. 이 퍼즐들에서 변수의 구체적인 이름은 사실 해결책에 중요하지 않습니다. 예를 들어, "만약 A가 참이라면, B도 참이다"라는 방정식은 "만약 X가 참이라면, Y도 참이다"와 정확히 같은 의미를 갖습니다. 논리는 동일하며, 오직 라벨만 바뀌었을 뿐입니다.

하지만 일반적인 AI 모델(챗봇을 구동하는 것과 같은)은 이 작업에 매우 취약합니다. 그들은 마치 페이지에 적힌 특정 이름들을 통째로 암기한 학생과 같습니다. 이름을 바꾸면 그들은 당황하여 정답을 틀리는데, 정작 논리는 변하지 않았음에도 말입니다. 또한 그들은 한 번도 본 적 없는 새로운 이름을 가진 퍼즐을 받으면 어려움을 겪습니다.

이 논문은 **심볼 불변 트랜스포머(Symbol-Invariant Transformer)**라고 불리는 새로운 유형의 AI 아키텍처를 소개합니다. 이것은 변수의 '개념'을 이해하는 로봇, 즉 이름표가 아닌 변수 그 자체를 이해하는 로봇을 생각하면 됩니다.

이 기술이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 문제점: "이름표"의 함정

표준 AI 모델은 모든 단어나 심볼이 자신만의 고유한 ID 카드를 갖는 거대한 사전(임베딩 테이블)을 사용합니다.

문제점: 만약 모델이 "A"를 보면, "A의 ID"를 찾아봅니다. 만약 이름을 "B"로 바꾸면, 모델은 "B의 ID"를 찾아보며, 이는 완전히 다른 카드입니다. 모델은 이것이 완전히 다른 퍼즐이라고 생각하게 됩니다.
결과: 만약 모델을 5개의 변수가 있는 퍼즐로 학습시켰다면, 6개의 변수가 있는 퍼즐을 주거나 변수의 이름을 바꾸었을 때 처참하게 실패합니다. 이는 마치 재료가 "밀가루"와 "설탕"이라고 적혀 있을 때만 요리할 수 있고, "재료 X"와 "재료 Y"라고 적혀 있으면 얼어붙어 버리는 요리사와 같습니다.

2. 해결책: "병렬 스트림" 주방

연구진은 AI를 위한 새로운 주방을 만들었습니다. 모든 재료가 하나의 큰 조리대에서 섞이는 대신, 병렬 스트림을 구축했습니다.

교체 가능한 변수(A, B, C 등) 각각을 위한 k개의 별도 조립 라인(스트림)이 있는 주방을 상상해 보십시오.

설정: AI가 변수를 볼 때, 단순히 하나의 큰 사전에서 찾는 것이 아닙니다. 대신, 해당 변수를 위한 특정 "뷰(view)" 또는 "스트림(stream)"을 생성합니다.
마법: 이 모든 스트림은 정확히 동일한 레시피(동일한 수학적 가중치)를 사용합니다. 스트림이 "A"를 처리하든 "B"를 처리하든 상관없습니다. 처리 과정을 담당하는 '두뇌'는 동일하기 때문입니다.
집계: 각 스트림이 자신의 작업을 마친 후, AI는 "단체 사진"(정보 집계)을 찍습니다. 모든 스트림의 결과를 평균 내어 전체적인 그림을 얻지만, 어떤 변수가 무엇인지 알 수 있도록 각 변수의 세부 사항은 별도로 유지합니다.

비유: 똑같이 생긴 쌍둥이 팀이 퍼즐을 맞추고 있다고 상상해 보십시오.

표준 AI에서 각 쌍둥이는 특정 색상(빨강, 파랑, 초록)을 배정받으며, 오직 그 색상만 다룰 수 있습니다. 색상을 바꾸면 그들은 혼란에 빠집니다.
이 새로운 AI에서 모든 쌍둥이는 동일하며 서로 교체 가능합니다. 퍼즐 조각들을 서로 바꾼다 해도, 쌍둥이들도 그냥 자리를 바꿀 뿐입니다. 최종 결과물은 조각들의 순서에 영향을 받지 않으므로(invariant), 팀 전체가 만들어내는 그림은 정확히 동일합니다.

3. 결과: "이름은 중요하지 않다"

이러한 설계 덕분에, 이 AI는 수학적 보장을 가집니다.

이름 변경에 대한 증명: 퍼즐을 가져와서 모든 변수의 이름을 바꾸더라도(예: 모든 "A"를 "Z"로 변경), AI는 이름이 바뀐 것에 맞춰 동일한 논리적 답을 정확히 내놓습니다. 혼란을 겪지 않습니다.
새로운 이름: 만약 AI에게 한 번도 본 적 없는 변수(예: 새로운 글자 "Q")가 포함된 퍼즐을 주더라도, AI는 여전히 문제를 풀 수 있습니다. "Q"를 위해 미리 암기된 ID 카드에 의존하는 것이 아니라, "Q"를 "A"나 "B"와 똑같이 하나의 변수로 취급하기 때문입니다.

4. 실제 테스트

연구진은 두 가지 유형의 논리 문제로 테스트를 진행했습니다.

명제 논리(Propositional Logic): 단순한 "If/Then" 퍼즐.
LTL (선형 시간 논리, Linear Temporal Logic): 시간과 순서에 관한 퍼즐 (예: "사건 A는 사건 B보다 먼저 일어나야 한다").

연구 결과:

거인들을 능가함: 이 새로운 모델은 표준 모델들을 이겼으며, 특정 논리 과제에서는 거대한 범용 AI(논문에서 GPT-5.2로 지칭됨)조차 능가했습니다.
강건성(Robustness): 연구진이 테스트 질문의 변수 이름을 바꿨을 때, 표준 모델들의 성능은 급락(최대 70% 하락)한 반면, 새 모델은 완벽한 성능을 유지했습니다.
효율성: 모델은 새로운 변수가 나타날 때마다 다시 학습될 필요가 없었습니다. 즉각적으로 일반화할 수 있었습니다.

요약

이 논문은 교체 가능한 심볼들을 고유하고 이름 붙여진 항목이 아니라 병렬적이고 동일한 스트림으로 취급하도록 AI 아키텍처를 변경함으로써, 우리가 진정으로 논리를 이해하는 모델을 구축할 수 있다고 주장합니다. 모델은 이름을 암기하는 것을 멈추고 관계를 이해하기 시작합니다. 이를 통해 모델은 현재의 AI 모델들이 어려워하는 '새로운 심볼 처리'나 '변수 이름 변경' 상황에서도 흔들림 없이 문제를 해결할 수 있습니다.

기술 요약: 개방형 어휘 학습을 위한 기호 불변 트랜스포머 (Symbol-Invariant Transformer)

1. 문제 정의

현재의 신경망 아키텍처, 특히 트랜스포머는 기호적 도메인에서의 **개방형 어휘 추론(open-vocabulary reasoning)**에 어려움을 겪고 있다. 핵심적인 과제는 **교체 가능한 토큰(interchangeable tokens)**을 처리하는 것이다. 이는 구문적으로는 구별되지만, 이름 변경(renaming)에 대해 의미론적으로 동일한(예: 람다 계산법의 바운드 변수, 논리학의 원자 명제) 기호들을 의미한다. 이러한 속성을 **알파-동치성(alpha-equivalence)**이라 한다.

고정된 어휘로 학습된 표준 모델들은 특정 토큰의 정체성에 과적합(overfit)되는 경향이 있다. 결과적으로, 이 모델들은 근본적인 의미론은 변하지 않았음에도 불구하고, 보지 못한 기호나 알파-이름이 변경된 입력에 대해 일반화하는 데 실패한다. 랜덤 임베딩(random embeddings)과 같은 기존 방식은 이를 완화하려고 시도하지만, 확률성에 의존하며 불변성에 대한 공식적인 보장을 제공하지 못하고 세심한 하이퍼파라미터 튜닝을 요구한다. 본 논문은 교체 가능한 기호의 순열에 대해 **구조적으로 불변(invariant by construction)**하여, 재학습 없이도 새로운 토큰으로의 견고한 일반화를 가능하게 하는 아키텍처의 필요성을 식별하였다.

2. 방법론: 기호 불변 트랜스포머 (Symbol-Invariant Transformer)

저자들은 토큰 이름 변경에 대해 정확한 불변성을 달성하도록 설계된 새로운 트랜스포머 기반 아키텍처를 제안한다. 이 방법은 **병렬 임베딩 스트림(parallel embedding streams)**과 **집계된 어텐션 메커니즘(aggregated attention mechanism)**을 결 함께 사용한다.

핵심 아키텍처

병렬 임베딩 스트림: $k$ $k$ 개의 교체 가능한 토큰 세트를 위해, 모델은 $k$ $k$ 개의 병렬 임베딩 스트림을 생성한다.
- 스트림 $i$ 에서, 토큰 $i$ 를 포함하는 위치는 "실제" 임베딩 인덱스로 대체된다.
- 다른 교체 가능한 토큰을 포함하는 위치는 "플레이스홀더(placeholder)" 임베딩 인덱스로 대체된다.
- 교체 불가능한(기본/base) 토큰은 모든 스트림에서 변경되지 않은 채 유지된다.
- 이를 통해 모델은 특정 교체 가능 토큰에 초점을 맞춘 $k$ 개의 서로 다른 "관점(views)"을 갖게 된다.
매개변수 공유: 모든 $k$ 개 스트림은 어텐션 및 피드포워드 레이어에 대해 동일한 가중치를 공유한다. 이 매개변수 공유는 학습 후 어휘 확장을 가능하게 하는 데 매우 중요하다.
이중 어텐션 메커즘:
1. 스트림별 셀프 어텐션 (Per-Stream Self-Attention): 각 스트림은 자신의 입력을 독립적으로 처리하여 특정 토큰의 관점에 특화된 컨텍스트를 구축한다.
2. 집계된 어텐션 (Aggregated Attention): $k$ 개 스트림의 은닉 상태(hidden states)를 평균하여 융합된 뷰를 생성한다. 이 집계된 뷰는 두 번째 어텐션 단계에서 사용되며, 이를 통해 토큰 위치의 특화된 표현을 보존하면서 스트림 간에 정보가 흐를 수 있도록 한다.
투영 및 출력 (Projection and Output):
- 기본 토큰: 비교체 가능 토큰에 대한 로짓(logits)은 모든 $k$ 개 스트림에 대한 예측을 평균하여 계산된다.
- 교체 가능 토큰: 토큰 $i$ 에 대한 로짓은 오직 스트림 $i$ 로부터만 도출되어, 모델이 특정 스트림 컨텍스트를 바탕으로 교체 가능한 토큰들을 구분할 수 있도록 보장한다.
디코더 확장: 디코더는 인코더와 마찬가지로 인과적 마스킹(causal masking)을 적용하여 미러링된다. 이는 스트림별 교차 어텐션(각 디코더 스트림이 대응하는 인코더 스트림을 주목)과 집계된 교차 어텐션(스트림들이 융합된 인코더 표현을 주목)을 모두 지원한다.

이론적 보장

본 논문은 이 아키텍처가 **알파-이름 변경 불변(alpha-renaming invariant)**임을 입증하는 공식적인 증명(정리 4.1)을 제공한다. 스트림 내의 연산은 독립적이며, 집계 단계가 가환적 합산(평균)에 의존하기 때문에, 스트림의 순서를 바꾸는 것(이는 토큰의 이름을 바꾸는 것에 해당함)은 원래의 것과 의미론적으로 동일한 순열된 출력을 생성한다. 따라서 임의의 알파-동치 입력 쌍에 대해 모델은 상응하는 출력을 생성한다.

3. 주요 기여

아키텍처: 병렬 임베딩 스트림과 집계된 어텐션을 도입하여 최소한의 하이퍼파라미터를 사용하는 새로운 트랜스포머 변형 모델을 제시한다. 이는 표준 인코더-디코더 아키텍처에 가볍게 수정하여 구현할 수 있으며, 최소한의 미세 조정(fine-tuning)만으로 기존의 바닐라 모델을 전환할 수 있다.
이론: 통계적 권장이나 확률적 임베딩에 의존하지 않고, 구조적으로 알파-동치성을 보장하며 변수 이름 변경에 불변하다는 공식적인 보장을 제공한다.
실증: 명제 논리(Propositional Logic) 및 선형 시제 논리(Linear Temporal Logic, LTL)와 같은 개방형 어휘 기호 추론 작업에서 검증을 수행하여, 베이스라인 대비 최첨단 성능과 미학습 기호에 대한 우수한 일반화 능력을 입로 증명하였다.

4. 실험 결과

방법론은 세 가지 작업인 확장 가능한 어휘를 가진 복사(Copying with scalable vocabulary), 명제 논리 할당 예측, **선형 시제 논리(LTL) 위트니스 생성(witness generation)**에서 평가되었다.

이름 변경에 대한 견고성: 제안된 방법은 테스트된 모든 시나리오에서 **100% 알파-공변성(alpha-covariance, 완벽한 불변성)**을 달축한 반면, 표준 베이스라인과 랜덤 임베딩 접근 방식은 상당한 민감도를 보였다.
미학습 어휘에 대한 일반화:
- 명제 논리: 제안된 방법은 학습 시 보았던 것보다 더 많은 원자 명제(APs)와 긴 시퀀스를 가진 공식으로 테스트했을 때, 풀 어휘(full vocabulary) 및 랜덤 임베딩 모델을 포함한 베이스라인을 크게 앞질렀다. Out-of-distribution 히트맵에서 **95.05%**의 정확도를 기록했으며, 이는 풀 어휘 베이스라인의 **84.41%**와 대조된다.
- LTL: 제안된 방법은 높은 성능(히트맵에서 90.47%)과 완벽한 알파-공변성을 유지했으나, 시간적 추론과 복잡한 명제 간 관계에 대한 의존성 때문에 베이스라인과의 성능 격차는 명제 논리에 비해 좁았다.
GPT-5.2와의 비교:
- 명제 논리: 제안된 방법은 GPT-5.2의 정확도(특정 지표에서 99.73% 대 99.73%, Top-25에서 99.54% 도달)와 대등한 성능을 보였다.
- LTL: 제안된 방법(90.47%)은 GPT-5.2(81.45%)를 실질적으로 능가했다.
- 효율성: 제안된 방법은 소비자용 하드웨어에서 거의 즉각적으로 예측을 생성하는 반면, GPT-5.2는 샘플당 평균 37초가 소요되었다.
모델 전환: 저자들은 기존의 사전 학습된 모델을 이 아키텍처로 전환할 수 있으며, 단 1~5 에포크(epoch)의 미세 조정만으로 처음부터 학습한 모델의 성능을 회복하거나 능가할 수 있음을 보여줌으로써 이 방법의 실용성을 입증하였다.

5. 의의 및 주장

본 논문은 **기호 불변 어텐션(symbol-invariant attention)**이 강력한 개방형 어휘 일반화를 제공하며, 랜덤 임베딩 및 표준 베이스라인보다 일관된 이득을 준다고 주장한다. 주요 의의는 아키텍처가 제공하는 **귀납적 편향(inductive bias)**에 있다:

이는 토큰을 구별해야 하는 필요성과 그 이름에 대해 불변해야 하는 필요성 사이의 근본적인 긴장을 해결한다.
교체 가능한 토큰 간의 **관계적 추론(relational reasoning)**이 주요 병목 구간인 도메인(예: 명제 논리)에서 특히 유익하다.
확률적 방식이 아닌, 구조적으로 알파-동치성을 보장하는 원칙적인 비확률적 접근 방식을 제공한다.

저자들은 한계점도 언급하였는데, 구체적으로 계산 비용이 교체 가능한 토큰 스트림의 수에 따라 선형적으로 증가( $O(SL^2)$ )하므로, 수백 개의 로컬 변수가 있는 도메인(예: 복잡한 프로그램 합성)에서는 부담이 될 수 있다는 점이다. 또한, 현재 설계는 입력 스트림에 대응하지 않는 새로운 교체 가능 토큰을 생성할 수 없으므로, 출력 기호가 입력 공식에서 추출되는 작업으로 범위가 제한된다. 그럼에도 불구하고, 이 연구는 신경망 아키텍처에서 교체 가능한 기호를 다루는 새로운 패러다임을 구축하였다.