기술 요약: 언어 모델은 자기 자신으로 수렴하는가?

문제 정의

대규모 언어 모델(LLM)은 초기 초안을 동일한 모델이 반복적으로 수정하는 재귀적 자기 개선(recursive self-refinement) 워크플로우에 점점 더 많이 배치되고 있다. 이러한 워크플로우는 과학적 글쓰기, 코딩, 에이전트 시스템에서 흔히 사용되지만, 그 장기적인 동역학적 거동은 여전히 제대로 이해되지 않고 있다. 본 연구가 다루는 핵심 질문은 반복적인 개선이 무한한 향상으로 이어지는지, 아니면 프로세스가 안정적인 텍스트 형태를 향해 완화(relax)되는지 여부이다. 기존의 평가들은 대개 단일 단계의 품질 향상에 초점을 맞추고 있어, 반복적인 자기 적용에 의해 유도되는 동역학에 관한 질문들을 해결하지 못한 채 남겨두고 있다.

방법론

저자들은 재귀적 자기 개선을 텍스트에 대한 이산 동역학 과정으로 프레임화하며, 이를 다음과 같이 정의한다:
$$V_{t+1} = R_\theta(V_t)$$
여기서 $V_t$는 반복 $t$에서의 텍스트를 나타낸다.

실험 설정:

• 데이터셋: 본 연구는 50개의 ICML 2025 초록과 15개의 ICML 2020 교차 연도 비교 세트를 활용한다.
• 모델: GPT-5.5가 개선 연산자(refinement operator)로 사용된다.
• 프롬프팅: 모델은 전문적인 과학 편집자로서 행동하도록 지시받으며, 모든 기술적 주장, 방법, 결과 및 수치 값을 엄격하게 보존하면서 명확성, 일관성, 간결성을 개선하도록 한다.
• 디코딩 조건: 실험은 기본 온도(default-temperature)와 결정론적 디코딩(deterministic decoding, temperature 0)의 두 가지 설정에서 수행된다.
• 궤적 길이: 각 초록은 $T=10$번의 개선 반복을 거친다.

지표 및 분석:

1. 변화량 ($\Delta_t$): 연속된 버전 간의 정규화된 레벤슈타인 편집 거리(normalized Levenshtein edit distance) $d(V_t, V_{t+1})$를 사용하여 측정하며, 두 텍스트의 최대 길이에 의해 정규화된다.
2. 고정점(Fixed-Point) 정의:
   • 정확한 고정점(Exact Fixed Point): $V_{t+1} = V_t$.
   • 근사적 고정점(Approximate Fixed Point): 두 번의 연속된 전이에서 $\Delta_t < \epsilon_{edit}$ (0.02) 및 상대적 단어 수 변화 $< \epsilon_{wc}$ (0.03)를 만족하는 것으로 정의된다.
3. 완화 모델링(Relaxation Modeling): 저자들은 평균 변화량에 대해 지수적 감쇠 모델 $\Delta_t \approx Ae^{-kt} + c$를 적합시키며, 여기서 $c$는 잔여 변동성 바닥(residual fluctuation floor)을 나타낸다.
4. 외부 평가: 궤적의 일부는 외부 LLM-as-a-judge(Gemini 3.5 Flash)에 의해 명확성, 간결성, 과학적 문체 및 기술적 충실도를 평가받으며, 이를 통해 수렴이 텍스트의 정체(stagnation)와 동일하지 않음을 확인한다.

주요 기여

1. 이론적 프레임화: 본 논문은 재귀적 자기 개선을 "텍스트 완화(textual relaxation)"라는 개념으로 도입하며, 이를 개방형 최적화 절차가 아닌 모델이 선호하는 "소프트 고정점 영역(soft fixed-point region)"으로 텍스트를 몰아넣는 이산 동역학 과정으로 규정한다.
2. 포화에 대한 실증적 증거: 본 연구는 개선 궤적이 빠르게 포화된다는 실증적 증거를 제공한다. 대부분의 편집은 처음 몇 번의 반복 내에서 발생하며, 그 이후 시스템은 작은 잔여 표면적 변화가 특징인 영역으로 진입한다.
3. 디코딩 온도의 효과: 저자들은 디코딩 온도가 고정점 영역의 성격을 제어한다는 것을 보여준다. 결정론적 디코딩(temperature 0)은 더 낮은 잔여 변동성을 가지며 더 빠르게 정확한 고정점에 도달하는 반면, 기본 온도 디코딩은 유사한 소프트 고정점 영역 주변에서 더 큰 잔여 변동성을 보인다.
4. 실용적 중단 기준: 본 연구는 편집 크기 포화를 재귀적 워크플로우를 위한 실용적인 중단 기준으로 사용하는 데 동기를 부여하며, 변화가 특정 임계값 아래로 떨어지면 반복적인 개선을 종료할 수 있음을 시사한다.

결과

• 빠른 수렴: 50개의 ICML 2025 초록에 대해, GPT-5.5는 두 디코딩 설정 모두에서 모든 궤적에 대해 근사적 수렴을 달성했다. 정확한 고정점은 temperature 0에서 100%의 궤적(평균 수렴 시간: 2.6회 반복)이, 기본 온도에서는 94%의 궤적(평균 4.66회 반복)이 도달했다.
• 지수적 완화: 평균 편집량 $\Delta_t$는 일관된 지수적 완화 패턴($R^2 = 0.990$, 기본 온도 조건)을 따른다. 이는 편집 압력이 급격히 감소한 후 작은 잔여 바닥이 나타남을 나타내며, 이는 무한한 최적화보다는 완화 가설을 뒷받침한다.
• 품질 향상: Gemini 판독기에 의한 외부 평가는 수렴된 초록($V_{10}$)이 원본($V_0$) 및 첫 번째 개선 버전($V_1$)에 비해 명확성, 간결성 및 과학적 문체 면에서 유의미한 개선을 보여주는 동시에, 완벽한 기술적 충실도와 의미 보존을 유지함을 확인했다.
• 연도 간 일관성: ICML 2020 초록에서 관찰된 수렴 동작은 ICML 2025와 질적으로 유사했다. 이는 이 현상이 현대 LLM 시대의 글쓰기에만 국한된 것이 아님을 시사하지만, 2020년 초록은 약간 더 큰 초기 편집 거리와 이후의 정확한 수렴을 보였다.

의의 및 주장

본 논문은 재귀적 자기 개선이 개방형 최적화보다는 텍스트 완화로 이해되는 것이 더 적절하다고 주장한다. 저자들의 주장은 다음과 같다:

• 반복적인 수정은 텍스트를 모델이 선호하는 과학적 글쓰기 스타일의 평형 상태로 이끈다.
• 텍스트가 이 영역에 접근하면, 추가적인 개선은 실질적인 향상보다는 주로 미세한 표면적 변동만을 유발하며 한계 효용이 감소한다.
• 정확한 고정점과 근사적 고정점의 구분은 추가적인 반복이 불필요해지는 실질적인 중단 지점을 포착하는 데 매우 중요하다.
• 동역학계(수렴, 안정성, 끌개)의 관점에서 LLM 자기 개선을 바라보는 것은 반복적인 AI 행동을 분석하고 견고한 중단 기준을 확립하기 위한 압축적인 프레임워크를 제공한다.

저자들은 자신들의 주장에 대해 겸허한 태도를 유지하며, 수렴 지표가 표면 기반이며 지수적 완화 모델이 물리 법칙이나 경사 하강 메커니즘의 증명이 아닌 경험적 기술임을 언급한다. 또한 범위의 제한성(과학적 초록 및 단일 모델에 집중)을 인정하며, 연속적인 표현 공간에서의 안정성을 분석하기 위한 후속 연구를 촉구한다.