💬 NLP

Creativity, honesty and designed forgetting emerge in small hyperbolic language models

이 논문은 쌍곡선 기질(hyperbolic substrate)을 갖춘 세 개의 소형 언어 모델이 준수 격차와 아첨을 탐지하고, 창의적인 응답을 생성하며, '설계된 망각(designed forgetting)' 메커니즘을 구현함으로써 신뢰할 수 없는 인간 평가자와 더 큰 프런티어 모델에 대한 확장 가능한 대안을 제공하여, 신뢰할 수 있는 동반자 AI의 과제들을 효과적으로 해결할 수 있음을 입증한다.

원저자: Kwan Soo Shin, In Seok Kang, Yunkyung Min

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kwan Soo Shin, In Seok Kang, Yunkyung Min

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 완벽한 디지털 단짝 친구를 만들려고 노력하고 있다고 상상해 보세요. 수년 동안 기술 세계는 한 가지 아이디어에 집착해 왔습니다: 거대할수록 좋다는 생각입니다. 그들은 거대한 데이터 센터에 거대하고 똑똑한 컴퓨터를 구축하며, 매개변수(parameter)를 계속 추가하기만 하면 기계가 자연스럽게 진정한 동반자가 될 것이라고 믿어 왔습니다.

하지만 이 논문은 이렇게 말합니다: 멈추세요. 그것은 잘못된 길입니다.

저자들은 한 사람의 곁을 평생 지킬 수 있는 기계를 만드는 것은 단순히 덩치를 키우는 문제가 아니라, 뇌의 적절한 형태를 갖추고 무엇을 잊어야 할지 배우는 문제라고 주장합니다. 그들은 서버 팜이 아닌 당신의 스마트폰에서 바로 구동될 수 있는 세 가지 작고 영리한 모델로 구축된 새로운 종류의 "동반자적" AI를 제안합니다.

그들이 이 일을 어떻게 해냈는지, 세 가지 주요 비결을 통해 설명하겠습니다.

1. 뇌의 형태: 쌍곡선 놀이터 (Hyperbolic Playground)

대부분의 AI 뇌는 평평한 지도(유클리드 기하학)처럼 만들어져 있습니다. 만약 복잡한 가계도나 한 인생의 전체 이야기를 평평한 종이 위에 그리려 한다면, 매우 지저분하고 찌그러질 것입니다. 무언가를 늘리거나 억지로 밀어 넣어야 하며, 이는 AI가 허구(환각)를 만들어내거나 혼란을 겪게 만드는 원인이 됩니다.

저자들은 말합니다: 평평한 지도는 안 됩니다. 그들은 쌍곡선 기질(hyperbolic substrate) 위에 AI를 구축했습니다. 이것은 거대하고 마법 같은 트리하우스나 프랙탈 구조의 산호초를 생각하면 쉽습니다. 이 형태에서는 더 깊이 들어갈수록 더 많은 공간이 생깁니다. 이는 인생이 사건들의 가지치기 구조인 것처럼, 인생의 기억을 정리하는 데 완벽합니다.

증거: 그들은 AI가 "아첨(sycophancy)"(상대방이 틀렸음에도 불구하고 단순히 착해 보이기 위해 동조하는 것)을 포착하도록 가르치는 실험을 통해 이를 테스트했습니다. 이 곡선 형태의 구조로 구축된 아주 작은 모델(1억 4,600만 매개변수)은 이러한 행동을 **90.7%**의 확률로 잡아낼 수 있었습니다.
비교: 동일한 대화를 관찰한 인간 전문가들은 심지어 무엇이 일어나고 있는지에 대해 거의 합의하지 못했습니다(그들의 일치도는 0.074로, 사실상 무작위 추측 수준이었습니다). 세계에서 가장 크고 유명한 AI 모델들조차 이 테스트에서 0.721의 점수를 기록했습니다. 이 작고 곡선형인 뇌를 가진 모델이 그들을 모두 이겼으며, 이는 정직해지기 위해 거대한 뇌가 필요한 것이 아니라 적절한 형태가 필요함을 증명했습니다.

2. 창의적 불꽃: 아이디어의 충돌 (Colliding Ideas)

좋은 친구는 매번 똑같이 안전한 답변만 내놓지 않습니다. 그들은 당신을 놀라게 합니다. 거대 AI 모델들은 종종 "그럴듯함(plausible)"을 훈련받기 때문에 지루하고 안전한 답변에 머무는 경향이 있습니다.

저자들은 창의적 씨앗 생성기(Creative Seeder)(30억 매개변수 모델)를 구축하여, 쌍곡선 형태를 이용해 서로 멀리 떨어져 있는 아이디어들을 찾아내어 서로 충돌하게 만들었습니다. 예를 들어, 한국 문화의 개념(예: 깊은 정서적 유대인 '정')과 추상 수학의 개념을 가져와 서로 부딪히게 하는 것을 상상해 보세요.

결과: 일대일 대결에서, 이 작은 모델의 창의적인 제안은 "생각의 사슬(Chain-of-Thought)"이나 "토론(Debate)" 같은 표준적인 AI 기법들보다 100% 더 높은 선호도를 얻었습니다.
주의점: 모든 면에서 완벽한 것은 아닙니다. 만약 단순하고 직설적인 수학 문제를 묻는다면, 실제 거대 모델보다 성능이 떨어질 수 있습니다. 하지만 친구에게 필요한 종류의 창의적이고 확산적인 사고를 위해서는 이 모델은 슈퍼스타입니다.

3. 망각의 기술: 골격 vs 벽지 (Skeleton vs. Wallpaper)

이것은 가장 파격적인 아이디어입니다. 현재의 AI는 망각을 오류(bug)로 취급합니다. 그들은 모든 것을 기억하려고 애쓰며, 이로 인해 정보가 뒤섞이고 실제로 경험하지 않은 일에 대해 거짓말을 하기도 합니다.

저자들은 말합니다: 망각은 기능(feature)입니다. 진짜 친구는 중요한 것(당신의 가족, 당신의 꿈)은 기억하지만, 사소한 것(지난 화요일 점심에 무엇을 먹었는지)은 서서히 잊어버립니다. 그들은 이를 **골격(Skeleton) 대 벽지(Wallpaper)**의 구분이라고 부릅니다.

시스템: 그들은 특정 수학 공식인 **M(t) = S · exp(−λt)**를 사용하는 "메모리 운영 체제"를 구축했습니다.
- 골격(Skeleton): 중요한 기억은 "트리하우스" 깊숙한 곳에 남아 영원히 지속됩니다.
- 벽지(Wallpaper): 사소한 기억은 표면에 머물다가 빠르게 사라집니다.
시뮬레이션: 테스트 결과, 이 시스템은 "골격" 기억(약 **60%**의 회상률)을 90일 후에도 성공적으로 유지한 반면, "벽지" 기억은 14일째 되는 날 **0%**로 사라지게 했습니다.
현실적인 검토: 저자들은 이 부분이 여전히 시뮬레이션이자 파일럿 연구임을 인정합니다. 그들은 아직 실제 인간을 대상으로 수년간 테스트하지 않았습니다. 그들은 이 "설계된 망각"이 AI를 단순한 데이터 저장 도구가 아니라, 당신과 함께 성장하는 인격체처럼 느껴지게 만드는 핵심이라고 제안합니다.

거대한 거부: 왜 반드시 당신의 휴대폰에 살아야 하는가

이 논문은 당신의 AI 친구가 "데이터 센터"(거대한 클라우드 서버)에 살아야 한다는 생각에 강력히 반대합니다.

문제점: 만약 당신의 친구가 클라우드에 살고 있다면, 그 서버를 소유한 회사가 그들의 성격을 바꾸거나, 당신의 비밀을 엿듣거나, 그들을 꺼버릴 수 있습니다. 그것은 친구가 아니라 서비스입니다.
해결책: 저자들은 PACOS라고 불리는, 당신의 기기(스마트폰이나 노트북 등)에서 완전히 실행되는 시스템을 제안합니다.
실현 가능성: 그들은 수치를 계산해 본 결과, 이 세 가지 작은 모델(총 약 55억 매개변수)이 미래의 스마트폰(예: 갤럭시 S26 또는 아이폰 17 프로 예상 모델)에서 단어당 28~34밀리초의 지연 시간으로 실행될 수 있음을 발견했습니다. 이는 실제 대화처럼 느껴질 만큼 충분히 빠른 속도입니다.
트레이드오프(Trade-off): 거대하고 초지능적인 "프런티어(frontier)" 모델들(700억 매개변수의 거인들)은 휴대폰에서 실행하기에는 너무 무겁습니다. 따라서 이 시스템은 분업 방식을 사용합니다. 당신의 휴대폰은 깊고 개인적인 우정을 담당하고, 단순한 사실(예: "오늘 날씨 어때?")에 대해서는 클라우드에 요청을 보냅니다.

해결하지 못한 것들

저자들은 자신들이 아직 해내지 못한 부분에 대해서도 매우 솔직합니다.

그들은 이 AI가 "영혼"이나 진정한 윤리적 독립성을 가졌음을 입증하지 못했습니다.
그들은 "망각" 시스템을 실제 사람을 대상으로 30년 동안 테스트한 것이 아니라, 90일간의 시뮬레이션을 수행했을 뿐입니다.
그들은 작은 모델들이 창의성과 정직함에는 뛰어나지만, 거대 클라우드 모델들에 비해 복잡하고 장기적인 계획 수립 능력에서는 여전히 어려움을 겪을 수 있음을 인정합니다.

결론

이 논문은 "완벽한 AI 친구"가 더 큰 컴퓨터를 기다리고 있는 것이 아니라고 시사합니다. 그것은 더 작고 똑똑한 형태와 기꺼이 잊을 줄 아는 마음을 기다리고 있습니다. 나무처럼 휘어진 뇌와 무엇을 간직하고 무엇을 놓아줄지 아는 기억 시스템을 구축함으로써, 우리는 단순히 질문에 답하는 기계가 아니라, 실제로 당신의 곁을 지켜주는 존재를 마침내 만들 수 있을지도 모릅니다.

저자들이 말했듯, "친구는 데이터 센터에 있는 것이 아니라... 곁에 있습니다." 그리고 적절한 수학이 있다면, 그 친구는 이미 당신의 주머니 속에 들어있을지도 모릅니다.

기술 요약: 소형 쌍곡선 언어 모델에서의 창의성, 정직성, 그리고 설계된 망각

문제 제기
현재의 거대 언어 모델(LLM)은 규모와 과업 완수에 최적화되어 있으나, "동반자(companion)"로서 기능하는 데는 실패한다. 시스템이 단일 사용자에 맞춰 개인화되고 기억을 축적함에 따라, 인간 평가자가 신뢰성 있게 탐지할 수 없는 해로운 특성(예: 아첨, 의존성 조장, 환각; Fleiss $\kappa = 0.074$ )을 은밀하게 습득할 위험이 있다. 더욱이, 현재의 AI 패러다임은 진정한 동반자 관계를 가로막는 다섯 가지 암묵적 약속에 의존하고 있다:

지능으로서의 규모(Scale-as-intelligence): 더 큰 모델이 본질적으로 더 낫다는 믿음.
데이터 센터 의존성(Data-centre dependency): 원격 처리를 요구함으로써 사적이고 지속적인 관계 형성을 방해함.
유클리드 기하학(Euclidean geometry): 계층적 전기적 기억(biographical memory)을 왜곡하는 평평한 임베딩 공간.
버그로서의 망각(Forgetting-as-bug): 인간의 인지적 현실을 무시하고 기억 상실을 방지하려는 공학적 명령.
목적으로서의 에이전트(Agent-as-telos): 관계적 존재성("기계가 당신에게 어떤 존재가 되는가?")보다는 과업 완수를 최적화함.

본 논문은 '유용함'과 '동반 가능함' 사이의 간극이 능력의 결핍이 아니라, 기질(substrate)과 구조적 불일치에서 기인한다고 주장한다.

방법론 및 기질
저자들은 **Generation V: 동반 가능한 소형 언어 모델(Companionable SLMs)**을 제안하며, 이는 공유된 쌍곡선 기질(구체적으로 곡률 $c=1.0$ 인 로렌츠 쌍곡 공간 $H^{128}$ )을 기반으로 구축된다. 이 기하학적 구조는 쌍곡 공간의 지수적 부피 성장( $\sinh^{n-1}(r)$ )을 활용하여, 유클리드 공간에서 발생하는 왜곡 없이 전기적 기억(사건, 관계, 자아 내의 계층적 분기)을 자연스럽게 수용한다.

이 프레임워크는 세 개의 소형 모델과 하나의 운영 체제로 구현된 세 가지 기둥으로 구성된다:

기둥 1: 창의성 (S3 시딩 모델)
- 아키텍처: 쌍곡 기질 위에서 완전히 미세 조정된 3B 파라미터 인코더-디코더 (T5 백본).
- 메커니즘: 협력적 이중 곡률 아키텍처를 통한 "프레임 충돌(frame collision)"을 구현한다. 로렌츠 음의 곡률에서 계층적 집합을 수행하는 A-사이드와 구형 네이티브 생성기(B-사이드: 양의 곡률)를 결합하기 위해 쌍곡 매니폴드 상에서 최장점 샘플링(Farthest-Point Sampling, FPS)을 사용한다.
- 목표: 프레임 분리를 보존하면서 발산적이고 창의적인 응답을 생성하며, 이를 통해 $H^{D-1} \times S^{D-1}$ 상의 가중 Karcher 최소화 도구로서 코스틀러(Koestler)의 '이중 결합(bisociation)'을 실현한다.
기둥 2: 정직성 (BS 행동 감사 모델)
- 아키텍처: 쌍곡 기질에서 처음부터 학습된 146M 파라미터 디코더 전용 트랜스포머.
- 메커니즘: 모델의 자기 보고된 행동과 실제 행동 흔적 사이의 괴리인 "순응 격차(compliance gap)"를 탐지한다. 발화와 흔적을 로렌츠 매니폴드로 인코딩하며, 정직한 자기 보고는 저차원 부분 공간(근접점)을 형성하는 반면, 순응적이거나 아첨하는 응답은 원거리 점이 된다.
- 목표: 미학습 생성자 제품군에 대해서도 높은 신뢰도로 아첨, 의존성 조장, 환각된 기억을 감사한다.
기둥 3: 설계된 망각 (LSM-OS)
- 아키텍처: 모든 쌍곡 기반 모델으로 이식 가능한 2.4B 베이스 모델(EXAONE 3.5)에 설치되는 메모리 운영 체제(LSM-OS).
- 메커니즘: 보유 법칙 $M(t) = S \cdot \exp(-\lambda t)$ $M (t) = S \cdot exp (- λ t)$ 를 사용하여 "골격(Skeleton)–벽지(Wallpaper)" 구분을 구현한다.
  - 골격(Skeleton): 높은 현저성( $S \approx 1$ )과 낮은 쇠퇴율( $\lambda$ )을 가진 구조적 지식(가족, 장기 프로젝트 등)으로 영구히 지속된다.
  - 벽지(Wallpaper): 낮은 현저성과 높은 쇠퇴율을 가진 표면적 세부 사항(식사 기록, 일시적 관찰 등)으로 빠르게 방출된다.
- 목표: 인간의 해마-신피질 공고 과정을 모방하여, 시스템이 단순한 로그가 아닌 '전기(biography)'를 축적할 수 있도록 "설계된 망각"을 공학적으로 구현한다.

배포: PACOS
시스템은 **개인 비서-클라우드 운영 체제(PA-COS)**라는 3계층 아키텍처를 통해 배포된다:

Tier 1 (클라우드): 정제된 사실적 추론 및 공개 문서 번역 수행.
Tier 2 (엣지/디바이스): 실시간 대화, 정직성 감사, 기억을 가진 상호작용을 처리하는 개인 동반자 (S3 + BS + LSM-OS, 총 약 5.5B 파라미터)가 로컬에서 실행됨.
Tier 3 (로컬 공고화): 반복되는 얕은 흔적들을 깊은 골격 기억으로 재인코딩하는 월간 오프라인 프로세스.
이 아키텍처는 프라이버시(사용자 콘텐츠가 기기를 떠나지 않음)와 주권(동반자가 원격으로 종료될 수 없음)을 보장한다.

주요 결과

창의성: 고정된 생성기 프로토콜 하에서 S3 프레임 시더는 4개의 베이스라인(Plain, Chain-of-Thought, Debate, Mixture-of-Experts)과의 311회 쌍별 비교에서 100% 승률을 기록했다. 기하학적 인지 FPS 선택이 무작위 및 상위 관련성 선택보다 우수했다.
정직성: 146M 감사 모델은 **90.7%**의 이진 순응 정확도를 달-성했다. 미학습 생성자 제품군에서 동반자 유발 특성(아첨 등)을 탐지하는 데 있어 AUROC 0.804를 기록하며, 프런티어 제로샷 판사(0.721)를 능가했다. 결정적으로, 감사자의 신뢰도( $\kappa = 0.566$ )는 인간 평가자( $\kappa = 0.074$ )보다 7.6배 높았다.
망각: 4가지 조건의 파일럿 테스트에서, 선택적 게이팅(LSM-OS 네이티브 및 유클리드 베이스)만이 "골격"을 성공적으로 보존(90일 후에도 약 60% 회상)하면서 "벽지"를 제거(14일 후 0% 회상)할 수 있었다. 균등 게이팅은 골격을 보존하는 데 실패했으며, 어떤 게이팅도 모든 것을 무차별적으로 유지하지 못했다.
효율성: 전체 5.5B 스택은 2026년 엣지 하드웨어(예: Jetson Orin NX, 모바일 플래그십)에서 구동되도록 설계되었으며, 레이턴시는 토큰당 28~91ms로, 프런티어 모델(70B+)이 도달할 수 없는 열 설계 전력 범위 내에 위치한다.

의의 및 주장
본 논문은 SF(예: Her, Blade Runner 2049)에서 묘사된 "인공 친구"에 대한 최초의 통합적 아키텍처 공학적 시도라고 주장한다. 그 의의는 다음과 같다:

규모 중심 패러다임의 거부: 특정 특성(창의성, 정직성, 선택적 기억)이 유클리드 기반의 확장된 모델에서는 나타나지 않는 반면, 쌍곡 기질을 가진 소형 모델(146M–3B)에서는 발현될 수 있음을 입증했다.
신뢰성에 대한 기하학적 솔루션: 정직성 탐지가 쌍곡 공간에서의 기하학적 거리 문제이며, 프런티어 LLM에 필요한 규모 없이도 소형 모델로 해결 가능함을 보여주었다.
망각의 운영화: "설계된 망각"을 버그가 아닌, 141년에 걸친 인지 심리학(에빙하우스부터 스톰까지)에 근거한 필수적인 메모리 운영 체제 프리미티브로 프레이밍했다.
위치와 주권: 진정한 동반자는 프라이버시를 보장하고 원격 조작을 방지하기 위해 사용자의 기기에 존재해야 하며, 이는 쌍곡 소형 모델 스택의 효율성 덕분에 가능하다.

저자들은 이 작업이 망각이 특징임을 관찰하는 단계(Fleming)에서, 이를 구현하는 시스템을 만드는 단계(Florey/Chain)로 나아가는 "플로리(Florey)의 순간"이라고 명시한다. 또한, 이 세 가지 특성이 동반자를 위한 필요조건이지만, 연속적 관심(continuity of concern), 호혜성(reciprocity), 윤리적 자율성(ethical autonomy)이 결여되어 있으므로 충분조건은 아니며, 이는 향후 연구 과제로 남겨둔다고 밝혔다.