💻 computer science

Meaningful Ambiguation as a Generative Mechanism in Language Model Architectures

본 논문은 표준적인 샘플링 방식인 온도 조절(temperature adjustment)이 재현하지 못하는 높은 다양성, 구조적 일관성, 그리고 시드 국소성(seed locality)을 동시에 달로성하는 출력을 생성하기 위해, 언어 모델 파이프라인에 미학 이론에서 영감을 받은 변환을 적용하는 '의미 있는 모호화(meaningful ambiguation)'라고 불리는 건축적 개입을 제안하고 실험적으로 검증한다.

원저자: Richard Taylor

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Richard Taylor

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서, 엔지니어와 예술가 모두를 오랫동안 좌절시켜 온 지속적인 난제가 있습니다. 그것은 바로 어떻게 하면 기계가 무너지지 않고 새로운 것을 만들어내게 할 것인가 하는 문제입니다. 현대의 언어 모델들은 지시를 따르는 데 매우 능숙하지만, 시간이 흐름에 따라 진화하는 이야기, 디자인, 또는 아이디어의 시퀀스를 창조하라는 요청을 받으면 종종 막혀버리곤 합니다. 이들은 똑같은 안전한 패턴을 반복하거나, 터무니없는 헛소리로 흘러가 버리는 경향이 있습니다. 이는 AI가 창의적인 파트너로서 작동하여, 단일한 맥락 안에서도 여전히 말이 되는 다양한 참신한 아이디어를 제공하기를 원하는 기업들에게 문제가 됩니다. 과제는 출력이 단순히 무작위적이거나 지루하게 예측 가능한 것이 아니라, 근거가 있고 일관성을 유지하면서도 다양하고 놀라울 수 있도록 만드는 방법을 찾는 것입니다.

이를 해결하기 위해, 리처드 테일러(Richard Taylor)라는 연구자는 예술과 철학의 역사에서 오래된 아이디어에 주목했습니다. 수 세기 동안 사상가들은 무엇이 무언가를 '예술'로 만드는지에 대해 논쟁해 왔으며, 종종 물감이나 돌과 같은 재료에 따라 작품을 분류하려고 시도해 왔습니다. 테일러는 이러한 접근 방식이 본질을 놓치고 있다고 제안합니다. 대신, 그는 진정한 창의성의 동력이 특정한 종류의 '의미 있는 모호함(meaningful ambiguity)'이라고 주장합니다. 쉽게 말해, 이것은 명확하고 확정적인 아이디어를 여러 가지 타당한 방식으로 동시에 이해될 수 있는 무언가로 변형하는 능력입니다. 이는 의미를 파괴하는 것이 아니라, 다음 창의적 과정이 여러 가지 일관된 경로 중에서 선택할 수 있도록 의미를 열어두는 것입니다. 테일러는 컴퓨터가 우연히가 아니라 의도적으로 이를 수행하도록 구축될 수 있는지, 그리고 그것이 기계의 사고 방식을 바꿀 수 있는지를 궁금해했습니다.

이를 테스트하기 위해, 테일러는 간단한 작업인 숫자 체인 생성이라는 통제된 실험을 설정했습니다. 그는 하나의 씨앗 숫자로 시작하여 컴퓨터에게 다음 숫자를 예측하고, 그다음 숫자를 예측하는 식으로 10단계 동안 시퀀스를 생성하도록 요청했습니다. 그는 어떤 방법이 가장 좋은 결과를 만들어내는지 확인하기 위해 이 과정을 네 가지 방식으로 실행했습니다. 첫 번째 설정에서 컴퓨터는 단순히 자신이 쓴 마지막 숫자를 보고 다음 숫자를 추측했는데, 이는 보통의 시스템들이 작동하는 방식입니다. 두 번째에서는 컴퓨터에게 이전 숫자에 대해 느슨하게 생각하도록 요청하는 흔한 지침인 '자유 연상(free association)'을 사용하도록 했습니다. 세 번째 설정에서는 그의 새로운 구조적 변화를 도입했습니다. 컴퓨터가 다음 숫자를 결정하기 전에, 그는 이전 숫자를 특수한 필터를 통과하도록 강제했습니다. 이 필터는 번역기처럼 작동하여, 확정적인 숫자를 수학적, 문화적, 혹은 단순한 근접성에 의해 관련된 다른 숫자들의 짧은 목록으로 변환했습니다. 컴퓨터는 원래의 숫자로부터가 아니라 이 목록 중에서 다음 단계를 선택해야 했습니다. 네 번째 설정은 통제 집단으로, 연결이 완전히 끊어졌을 때 어떤 일이 일어나는지 보기 위해 컴퓨터가 이전 단계와 아무런 관련이 없는 숫자 목록을 받도록 했습니다.

결과는 놀라웠으며 방법들 사이의 명확한 차이를 드러냈습니다. 컴퓨터가 스스로 하게 내버려 두거나 단순히 "자유롭게 생각하라"고 명령했을 때는 틀에 박힌 행동을 보이는 경향이 있었습니다. 이들은 매우 유사한 체인을 만들어내며 종종 좁고 예측 가능한 경로를 따르거나, 시작점에서 너무 멀리 벗어나 연결성을 잃어버리곤 했습니다. 연결이 완전히 끊겼을 때 컴퓨터는 매우 다양한 숫자를 만들어냈지만, 그것들은 서로 아무런 상관이 없었으며 시퀀스는 내부적인 논리가 부족했습니다. 그러나 특수 필터를 사용한 설정은 다른 방식들이 따라올 수 없는 독특한 특성들의 조합을 만들어냈습니다. 이 방법으로 생성된 체인들은 매우 다양했습니다. 실험을 실행할 때마다 컴퓨터는 완전히 다른 시퀀스를 만들어냈습니다. 하지만 무작위 버전과 달리, 이 시퀀스들은 결속력을 유지했습니다. 숫자들은 원래의 시작점 근처에 머물렀고, 한 단계에서 다음 단계로 넘어가는 명확하고 논리적인 관계가 존재했습니다.

이 특정한 고다양성 및 고일관성의 조합이 바로 연구자가 '다축 시그니처(multi-axis signature)'라고 부르는 것입니다. 이것은 출발점에서 멀리 떠돌면서도 길을 잃지 않는 창의적인 정신의 디지털 버전입니다. 실험은 컴퓨터의 '온도(temperature)'나 무작위성 설정을 높이는 것—AI를 더 창의적으로 만들기 위해 흔히 쓰이는 기술—만으로는 충분하지 않다는 것을 보여주었습니다. 그 방법은 출력을 더 다양하게 만들 수는 있었지만, 항상 일관성을 희생시켜 결과물이 너무 비슷해지거나 너무 혼란스러워지게 만들었습니다. 구조화된 모호함을 의도적으로 삽입하는 새로운 방법은 두 가지 특성을 모두 살아있게 유지하며 성공했습니다. 컴퓨터는 많은 경로를 탐색할 수 있었지만, 모든 경로는 이전 단계의 유효하고 논리적인 연장이었습니다.

연구는 또한 이러한 구조적 변화가 컴퓨터 모델 자체가 똑똑해질수록 더욱 유용해진다는 것을 발견했습니다. 테스트에 사용된 가장 발전된 모델들은 스스로 작동할 때 반복적인 루프에 빠지기 더 쉬웠는데, 이는 그들이 가장 뻔한 다음 단계를 예측하는 데 너무 능숙하기 때문인 것으로 보입니다. 새로운 방법은 덜 발전된 모델들보다 이 똑똑한 모델들이 루프를 더 효과적으로 탈출하도록 도왔습니다. 이는 인공지능이 점점 더 유능해짐에 따라, 진정한 창의성을 유지하기 위한 이러한 종류의 구조적 개입의 필요성이 커질 것임을 시사합니다. 이 연구는 인간의 취향이나 예술의 미스터리를 해결했다고 주장하는 것이 아니라, 미학 이론에서 영감을 받은 구체적이고 측정 가능한 메커니즘이 놀라우면서도 합리적인 출력을 생성하도록 기계에 구축될 수 있음을 입증합니다. 한 생각과 다음 생각 사이의 공간을 구조화된 모호함의 장소로 다룸으로써, 연구자는 기계가 더 풍부하고 다양하며 일관된 아이디어의 세계를 생성하도록 유도될 수 있음을 보여주었습니다.

기술 요약: 언어 모델 아키텍처에서의 생성 기제로서의 유의미한 모호성(Meaningful Ambiguation)

문제 제기
본 논문은 반복적 언어 모델(LM) 아키텍처의 지속적인 한계, 즉 개별 인스턴스 내에서 구조적 일관성을 유지하면서도 동시에 인스턴스 간에 다양성을 확보하지 못하는 문제를 다룬다. 에이전트형 AI가 창의적 역량(예: 이커머스, 마케팅)을 요구하는 영역에 점점 더 많이 배치됨에 따라, 모델은 개인의 미적 취향을 반영하거나 구조화된 다양성을 생성하는 데 실패하는 경우가 많다. 현재의 접근 방식들은 정렬 튜닝(alignment tuning)을 통해 생성을 균질화하거나, 샘 sampling 온도를 조절하여 단일 축을 따라 일관성과 다양성 사이의 트레이드오프를 수행한다. 저자는 지시적 프롬프팅(directive prompting)이나 온도 스케일링(temperature scaling) 모두가 고정된 입력으로부터 다수의 일관된 궤적을 유지할 수 있는 설계된 아키텍처적 기제를 제공하지 못한다고 주장한다.

이론적 프레임워크
본 논문은 미학 이론을 '유형론적 형식주의'(매체나 재료에 따라 예술을 분류하는 것)에서 '운용적 형식주의'(operational formalism)로 재구성할 것을 제안한다. 보에티우스, 칸트, 구드먼의 전통을 빌려, 저자는 예술의 정의적 작용이 **위치적 프레이밍 하에서의 유의미한 모호화(meaningful ambiguation under positional framing)**라고 상정한다.

형식주의(Formalism): 예술은 개념 공간에서 제약된 형식으로의 비단사적 투영 $\pi: C_0 \to N$ 으로 특징지어지며, 여기서 인공물은 단 하나의 의도된 결과가 아닌 다수의 일관된 재구성(구조적 모호성, $\Psi_{amb}$ )을 보유한다.
운용화(Operationalization): 이 작용은 반복적 LM 파이프라인의 **단계 간 채널(inter-step channel)**에 적용되는 변환 $\phi$ 로 구현된다. 결정론적 출력 $Y_i$ 를 다음 단계( $X_{i+1} = Y_i$ )로 직접 전달하는 대신, 시스템은 변환 $\phi$ 를 적용한다: $X_{i+1} = \phi(Y_i)$ . 이 변환은 결정론적 재료를 '구조적 미결정성'(예: 풍부하고 다의적인 해석이 가능한 문구)으로 변환하며, 다음 생성 단계는 이를 해석해야 한다. 이를 통해 통제된 모호성이 도입된다.

방법론
가설 검증을 위해 수치 시퀀스 생성 태스크를 선택하였는데, 이는 분포 및 구조적 측정(인수 관계, 모듈 클래스, 크기 근접성)에 용이하기 때문이다.

실험 설계: 네 가지 실험군 설계를 통해 세 가지 변수(채널 치환, 지시적 프롬프팅, 그라운딩)를 분리하였다.
1. Clean (대조군): 중립적 프롬프트와 함께 이전 숫자를 생성기에 그대로 전달함.
2. Free Assoc: 자유 연상적 행동을 명시적으로 요청하는 프롬프트와 함께 이전 숫자를 그대로 전달함.
3. Associative (중재): 단계 간 채널을 이전 숫자에 기반한 연관 정수 목록을 생성하는 구조적 모호성 변환 $\phi_M$ 으로 교체함.
4. Random (대조군): 채널을 디스트랙터(근거 없는 치환)를 적용하는 $\phi_R$ 로 교체함.
파라미터: 실험은 Claude Sonnet 4.5를 사용하여 10개의 시드, 셀당 10개의 반복, 10단계 체인으로 실행되었다. 생성기 온도(Generator temperature)는 $T_{gen}=0.9$ 로 고정되었고, 변환 온도(Transform temperature)는 $T_\phi=1.0$ 이었다.
측정 지표: 다양성(고유 체인/접두사), 구조적 일관성(모듈 산술, 숫자 중복, 소인수 관계), 국소성(시드 크기 근접도).

주요 결과
Associative 실험군은 어떤 대조군 조건에서도 달성되지 않은 독특한 "다축 시그니처(multi-axis signature)"를 생성하였다:

다양성: 최대 다양성(10/10 고유 체인)을 달성하였으며, 이는 Random 실험군과 일치하며 Clean 및 Free Assoc 실험군을 유의미하게 상회하였다. (Clean과 Free Assoc는 어트랙터로 수렴함)
구조적 일관성: Random 실험군(비일관적이며 확률 수준에 근접함)과 달리, Associative 실험군은 산술적 구조를 보존하였다. 이는 모듈 테스트(mod 7, 10, 12)와 소인수 관계에서 높은 성능을 보여주었으며, 이는 "구조화되었으나 유연한 일관성"을 나타낸다.
국소성: Associative 체인은 시드 근방에 머물렀으나(58.8%가 한 자릿수 차이 이내), Random 실험군은 빈번하게 시드로부터 탈출하였고, Clean 실험군은 매우 예측 가능한 좁은 어트랙터로 붕괴되었다.
단계 분포: Associative 실험군은 중간 단계의 도약과 가끔 발생하는 급격한 도약이 교차하는 이봉 분포(bimodal distribution)를 보였으며, 이는 Tight한 단계의 Clean 실험군 및 큰 폭의 일정한 단계의 Random 실험군과 구별된다.

비교 분석

온도 vs. 아키텍처: Clean 실험군에 대한 온도 스윕( $T=0.5$ to $1.0$)은 다양성을 약간 증가시켰으나, Associative 실험군의 다양성을 따라잡지 못했을 뿐만 아니라 구조적 일관성을 회복하는 데도 실패했다. 온도는 단일 어트랙터-워크 축을 따라 동작하는 반면, 아키텍처적 개입은 다른 종류의 일관성을 만들어낸다.
모델 능력: 모델 간 테스트(Haiku, Sonnet, Opus) 결과, 표준 샘플링 하에서는 모델의 능력이 높아질수록 어트랙터 붕괴(attractor collapse)가 악화되는 것으로 나타났다. 결과적으로, 아키텍처적 개입의 상대적 이점은 모델의 능력이 높을수록 커진다. 즉, 강력한 모델일수록 기본 모달 연속성(default modal continuations)으로 붕괴하기 쉽기 때문이다.

의의 및 주장
본 논문은 반복적 파이프라인의 단계 간 채널에 유의미한 모호화 메커니즘을 삽격하는 것이 지시적 프롬프닝이나 온도 조절로는 복제할 수 없는 생성적 행동을 만들어낸다고 주장한다.

아키텍처적 필연성: 결과는 "창의성"(여기서는 붕괴 없는 구조적 다양성으로 정의됨)이 단순한 파라미터 튜닝이 아닌 아키텍처적 개입을 필요로 함을 시사한다.
일반화 가능성: 실험에서는 통계적 추적 가능성을 위해 수치 시퀀스를 사용했으나, 이 프레임워크는 자연어 문자열, 이미지 캡셔닝, 시적 생성에 적용 가능한 기질 독립적(substrate-independent) 작용으로 제시된다.
제한적 범위: 저자는 이 메커니즘이 인간의 예술에 필요충분조건이라거나, 이론적으로 특정 작업에 맞춘 프롬프트가 동일한 결과를 낼 수 없다고 주장하는 것은 아님을 명시한다. 다만, 아키텍처적 접근 방식이 특정 작업에 특화된 프롬프트 엔지니어링에 의존하지 않는 일반화 가능한 솔루션을 제공한다고 주장한다. 이 개입은 "창의적 진행"의 측정 가능한 시그니처—즉, 기대되면서도(일관된) 놀라운(다양한), 그리고 근거가 있으면서도 자유로운(grounded yet free) 출력—를 제공한다.

기술 요약: 언어 모델 아키텍처에서의 생성 기제로서의 유의미한 모호성(Meaningful Ambiguation)

유사한 논문