💬 NLP

Self-reflecting Large Language Models: A Hegelian Dialectical Approach

이 논문은 대규모 언어 모델을 위해 상반되는 아이디어를 반복적으로 합성하여 새로운 과학적 아이디어 구상과 오류 수정 추론 능력을 모두 향상시키는 헤겔의 변증법 기반 자기 성찰 프레임워크를 제안하며, 수학적, 기호적, 지식 집약적 벤치마크 전반에서 상당한 성능 향상을 입증한다.

원저자: Sara Abdali, Michael Solodko, Can Goksen, Saeed Amizadeh, Julie E. Maybee, Kazuhito Koishida, Pashmina Cameron

게시일 2026-08-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sara Abdali, Michael Solodko, Can Goksen, Saeed Amizadeh, Julie E. Maybee, Kazuhito Koishida, Pashmina Cameron

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 정말 까다로운 퍼즐을 풀려고 노력하고 있다고 상상해 보세요. 하지만 해결책에 가까워질 때마다 당신의 뇌는 루프에 빠져버립니다. 당신은 계속해서 "내가 맞아, 내가 맞아"라고 생각하며, 세 단계 전에서 저지른 실수를 결코 바로잡지 못합니다. 이것은 대규모 언어 모델(LLM)이라고 불리는 초지능형 컴퓨터 프로그램들이 흔히 겪는 문제입니다. 이들은 대화하고 글을 쓰는 데는 뛰어나지만, 복잡한 수학이나 과학 문제를 추론하려고 할 때 종종 자기 발에 걸려 넘어지곤 합니다. 이를 해결하기 위해 과학자들은 모델에게 스스로를 "성찰(self-reflect)"하게 하여, "잠깐, 이건 말이 안 되는데"라고 말하도록 가르치려 노력해 왔습니다. 하지만 종종 모델들은 고집스럽게 굴곤 합니다. 일단 자신이 좋은 답을 얻었다고 생각하면, 설령 그것이 틀렸더라도 생각을 바꾸기를 거부합니다. 마이크로소프트와 뉴욕의 한 대학교 연구진이 작성한 이 논문은 중대한 질문을 던집니다. 어떻게 하면 이 모델들이 단순히 제자리를 맴도는 대신, 진정으로 마음을 바꾸고 더 나은 답을 찾게 할 수 있을까? 그들은 철학의 오래된 개념인 "헤겔의 변증법(Hegelian Dialectic)"에서 답을 찾습니다. 이것을 매우 구조적이고 긴장감 넘치는 토론 클럽이라고 생각해 보세요. 단순히 "내가 맞다"라고 말하는 대신, 모델은 두 역할을 수행하도록 강요받습니다. 하나는 아이디어를 제안하는 사람이고, 다른 하나는 그 아이디어의 결함을 찾아내는 엄격한 비평가 역할을 하는 것입니다. 그다음, 제3의 캐릭터가 개입하여 이 두 가지를 하나의 새로운, 더 나은 아이디어로 통합하며, 그 과정에서 양측의 장점을 모두 유지합니다. 이는 컴퓨터가 이미 알고 있는 것을 반복하는 대신, 스스로와 논쟁함으로써 더 똑똑해지도록 강제하는 방법입니다.

저자들은 LLM이 이 철학적 드라마를 단계별로 연기하는 새로운 프레임워크를 제안합니다. 그들은 이를 "자기 변증적(self-dialectical)" 과정이라고 부릅니다. 이 마법이 일어나는 과정은 다음과 같습니다. 먼저, 모델은 "명제(Proposition)"라고 부르는 초기 아이디어를 제시합니다. 그다음, 모델은 "반대되는 아이디어(Opposing Idea)"를 생성해야 합니다. 이것은 단순히 무작위적인 추측이 아닙니다. 모델은 원래의 아이디어에서 구체적인 결함이나 허점을 찾아내는 비평가처럼 행동하도록 지시받습니다. 이 단계를 "지양(Sublation)"이라고 합니다. 마지막으로, 모델은 이 두 가지 상충하는 관점을 결합하여 "통합된 아이디어(Unified Idea)", 즉 "정립(Specation)"을 만들어내려 노력합니다. 이 새로운 아이디어는 단순한 절충안이 아닙니다. 그것은 첫 번째 아이디어의 문제점을 해결하면서도 그 강점을 유지하는 더 높은 차원의 해결책이어야 합니다. 연구진은 이 방법을 수학 문장제 문제(GSM-8k 및 GSM-hard 데이터셋 포함), 기호 논리 퍼즐 처리, 복잡한 지식 질문 답변(MMLU Pro) 등 다양한 유형의 작업에 테스트했습니다. 그 결과, 이 방법이 모델이 표준적인 프롬프팅 방식으로 작업할 때보다 성능을 유의미하게 향상시킨다는 것을 발견했습니다. 예를 들어, GSM-Symbolic이라는 어려운 수학 테스트에서, 이 방법은 GPT-4o-mini의 정확도를 0.709에서 0.770으로, Qwen 2.5-7B 모델의 경우 0.587에서 0.623으로 높였습니다.

연구에서 가장 흥적인 부분 중 하나는 이 과정 동안 모델이 얼마나 "창의적"이어야 하는지를 파악하는 것이었습니다. 연구진은 이를 조절하기 위해 "온도(temperature)"라는 개념을 사용했습니다. 온도를 모델의 상상력을 조절하는 다이얼이라고 상상해 보세요. 낮은 설정은 모델을 매우 집중하게 만들어 가장 뻔한 답에 머물게 하는 반면, 높은 설정은 모델을 더 자유분방하게 만들어 더 기발하고 새로운 조합을 시도하게 합니다. 팀은 이 다이얼을 사용하는 두 가지 방법을 테스트했습니다: 전체 과정 동안 일정한 설정을 유지하거나, "동적 어닐링 스케줄(dynamic annealing schedule)"을 사용하는 것입니다. 어닐링 스케줄은 높은 온도(많은 창의적 탐색)로 여정을 시작하여 과정이 진행됨에 따라 점차 낮은 온도(집중적이고 신중한 정교화)로 다이얼을 낮추는 것과 같습니다. 그들은 이 방법이 모든 상황에 완벽하지 않다는 것을 발견했습니다. 어떤 모델과 작업에는 일정한 온도가 가장 잘 맞았고, 어떤 경우에는 창의적인 상태에서 집중적인 상태로 변화하는 동적 스케줄이 최선의 결과를 냈습니다. 예를 들어, GSM-8k 수학 테스트에서 동적 어닐링 스케줄은 GPT-4o가 0.955의 정확도에 도달하도록 도와, 일정한 온도의 점수인 0.953을 약간 앞질렀습니다. 그러나 동일한 테스트에서 Qwen 2.5-7B 모델의 경우, 일정한 온도가 약간 더 나았습니다. 이는 모델의 창의성을 튜닝하는 "최선의" 방법이 특정 문제와 사용되는 컴퓨터 두뇌에 따라 달라짐을 시사합니다.

모델이 만들어낸 새로운 아이디어들이 실제로 좋은 것인지 확인하기 위해, 연구진은 주의를 기울여야 했습니다. 모든 수학 문제나 과학적 아이디어를 확인할 인적 전문가가 없었기 때문에, 그들은 "다중 에이전트 다수결 투표(Multi-Agent Majority Voting, MAMV)"라고 불리는 시스템을 고안했습니다. 여러 대의 서로 다른 AI 모델이 원탁에 둘로 둘러앉아 있는 모습을 상상해 보세요. 각 모델은 독립적으로 새로운 통합 아이디어가 타당한지(말이 되는지?), 그리고 참신한지(실제로 새로운 것인지?)에 대해 투표합니다. 만약 다수의 AI 심판들이 "예"라고 답하면 그 아이디어는 수용됩니다. 만약 "아니오"라고 한다면 과정은 중단됩니다. 이를 통해 연구진은 인간 교수진 없이도 대규모로 이 방법을 테스트할 수 있었습니다. 결과는 이러한 구조화된 자기 비판이 단순히 모델에게 "다시 시도해 봐"라거나 "더 열심히 생각해 봐"라고 요청하는 것보다 훨씬 더 낫다는 것을 보여주었습니다. 헤겔 방식을 사용하는 모델들은 자신의 논리적 오류를 포착하고 수정하는 데 더 뛰어났으며, 이는 수학과 과학에서 더 정확한 답으로 이어졌습니다.

하지만 저자들은 이것이 모든 것을 해결하는 마법의 지팡이는 아니라는 점을 분명히 밝히고 있습니다. 그들은 모델이 너무 창의적이 되면(온도가 너무 높으면), 주제에서 완전히 벗어나거나 터무нде한 내용을 내놓을 수 있다는 것을 발견했습니다. 반대로 너무 집중하면(온도가 너무 낮으면), 똑같은 실수를 계속 반복할 수도 있습니다. 또한, 아이디어가 얼마나 "새로운지" 측정하는 것은 매우 어렵습니다. 모델은 자신이 놀라운 새로운 이론을 발견했다고 생각할 수도 있지만, 실제로는 훈련 데이터에서 읽었던 내용을 기억해 낸 것일 수도 있습니다. 연구진은 자신들의 방법이 항상 과학적으로 옳은 아이디어를 생성하는 것은 아니며, 진정한 검증에는 여전히 인간 전문가가 필요하다는 점을 인정합니다. 또한 모델이 좋은 반대 의견을 생성하지 못해 루프에 빠지거나, 단순히 같은 단락을 반복하는 경우도 발생한다고 언급했습니다. 그럼에도 불구하고, 이 논문은 자기 성찰을 단순한 "네 작업을 확인해 봐"라는 명령이 아니라 구조화된 토론으로 취급하는 것이 AI가 더 명확하게 생각하도록 돕는 강력한 방법임을 시사합니다. 모델이 자신의 결함에 직면하고 더 나은 답을 합성하도록 강제함으로써, 우리는 단순히 똑똑해 보이는 것이 아니라 실제로 더 잘 추론할 수 있는 시스템을 구축할 수 있을지도 모릅니다.

기술 요약: 자기 성찰적 대규모 언어 모델: 헤겔의 변증법적 접근법

1. 문제 제기

대규모 언어 모델(LLM)은 추론 및 과학적 발견 분야에서 급격한 발전을 보여주었으나, 다단계 작업에서 사실적 정확성과 논리적 일관성을 유지하는 데 어려움을 겪고 있다. 일반적인 실패 양상은 핵심 조건을 간과하거나, 문맥을 오해하거나, 환각(hallucination)을 일으키는 것이며, 이는 전체 추론 사슬을 무효화할 수 있다. 생각의 사슬(Chain-of-Thought, CoT), 자기 일관성(self-consistency), 반복적 자기 성찰(iterative self-reflection)과 같은 전략들이 존재하지만, 표준적인 자기 성찰은 흔히 "사고의 퇴행(degeneracy-of-thought)" 문제를 겪는다. 이 상태에서 LLM은 한 번 높은 확신을 가진 답변에 수렴하면, 이후의 반복 과정에서 유의미한 수정을 생성하지 못하거나 초기 출력에서 벗어나지 못하고 단순히 원래의 오류를 강화하기만 한다. 본 논문은 실질적인 반대 의견을 생성하기 전에 구조화된 형태의 자기 비판을 강제할 필요가 있다고 주장한다.

2. 방법론: 헤겔의 변증법적 자기 성찰

저자들은 헤겔의 변증법에 기초한 프레임워크를 제안하며, 자기 성찰을 일관된 이론의 공간에 대한 반복적 연산자로 정형화한다. 이 과정은 계산 연산자로 매핑된 세 가지 뚜렷한 단계로 구성된다:

A. 형식적 프레임워크

변증법은 $\langle T_0, (A_0, S_0), T_1, \dots, T_N \rangle$ 인 궤적으로 정의된다:

이해 (Understanding, U): 현재의 명제 $T_i$ .
지양 (Sublation, A): 모델이 $T_i$ 의 결함을 식별함으로써 반대 의견 $A_i$ 를 생성한다. 이는 모델이 자신의 관점을 비판하여 반론( $A_i = \mathcal{A}(T_i)$ )을 만들어내는 "자기 지양(self-sublation)"이다.
정립 (Speculation, S): 모델이 $T_i$ 와 $A_i$ 를 하나의 통합된 고차원 이론 $T_{i+1}$ 로 합성한다 ( $T_{i+1} = \mathcal{S}(T_i, A_i)$ ).

이 프레임워크는 정립 연산자 $\mathcal{S}$ 에 대해 세 가지 제약 조건을 강제한다:

일관성 (Consistency): 통합된 이론은 모순이 없어야 한다 ( $\nvdash \bot$ ).
보존 (Preservation): 새로운 이론은 명제와 반대 의견의 공통 기반을 유지해야 한다 ( $T_{i+1} \supseteq T_i \cap A_i$ ).
진보 (Progress): 새로운 이론은 입력값 중 어느 하나보다도 진전되어야 한다 ( $T_{i+1} \nsubseteq T_i$ 및 $T_{i+1} \nsubseteq A_i$ ).

B. 온도 스케줄링 (Temperature Scheduling)

본 논문은 탐색(exploration)과 활용(exploitation) 사이의 균형을 맞추기 위한 생성 온도( $\tau$ )의 역할을 조사한다:

지양 온도 ( $\tau_A$ ): 반복 불변적인 반대 의견 생성을 보장하기 위해 일정하게 유지된다.
정립 온도 ( $\tau(i)$ ): 두 가지 구성으로 테스트된다:
1. 고정형 (Constant): 전체 반복 과정 동안 고정된 온도를 사용한다.
2. 동적 어닐링 (Dynamic Annealing): 반복이 진행됨에 따라 창의적 탐색(높은 $\tau$ )에서 집중적인 정교화(낮은 $\tau$ )로 전환되는 스케줄 $\tau(i) = \tau_0 \cdot e^{-\theta i}$ 를 사용한다.

C. 평가: 다중 에이전트 다수결 투표 (Multi-Agent Majority Voting, MAMV)

인간 도메인 전문가에게 의존하지 않고 생성된 아이디어를 평가하기 위해, 저자들은 **다중 에이전트 다수결 투표(MAMV)**를 도입한다. $K$ 개의 독립적인 LLM 패널이 각 합성 단계에 대해 두 가지 기준을 투표한다:

타당성 (Validity): 통합된 아이디어가 변증법적 지침을 준수하는가?
참신성 (Novelty): 아이디어가 이전 단계를 바탕으로 새로운 개념을 도입하는가?
과정이 다수결에 의해 유효성을 검증받지 못하면 종료된다.

3. 주요 기여

헤겔 변증법의 정형화: 본 논문은 헤겔의 변증법을 LLM 추론 프레임워크 내의 계산 연산자로 정형화하여, 일관성, 보존, 진보라는 증명 가능한 속성을 제공한 최초의 연구이다.
구조화된 자기 성찰: 모델이 합성(speculation) 이전에 결함을 식별(sublation)하도록 구조화된 순환을 강제함으로써 기존 자기 성찰의 "사고의 퇴행" 문제를 해결한다.
온도 분석: 고정된 온도와 어닐링 스케줄을 단순한 최적 설정이 아닌 연구를 위한 구성으로 취급하여 광범위한 분석을 제공한다.
확장 가능한 평가: MAMV를 도입하여 인간 전문가의 즉각적인 개입 없이도 과학적 아이디어 생성 및 추론의 타당성과 참신성을 평가하는 방법을 제시한다.

4. 실험 결과

이 방법은 수학적, 기호적, 지식 집약적 추론 벤치마크(GSM-8k, GSM-hard, GSM-Symbolic, MMLU Pro) 및 개방형 과학적 아이디어 생성에 대해 평가되었다.

추론 성능: 변증법적 접근 방식은 여러 모델(GPT-4o, GPT-4o-mini, Qwen, Phi-4)에 걸쳐 베이스라인(Zero-shot, Few-shot, CoT, Self-refine 포함) 대비 유의미한 성능 향상을 달ними었다.
- GSM-Symbolic에서 주목할 만한 개선이 관찰되었다 (예: GPT-4o-mini가 0.709에서 0.770으로 +8.6% 향상).
- GSM-hard에서도 개선이 나타났다 (Qwen3-8B가 0.585에서 0.658로 +12.5% 향상).
- 정확도 외에도, 이 방법은 출력 분산을 일관되적으로 감소시킨다. 보존 제약 조건( $S_i \supseteq T_i \cap A_i$ )에 의해 검증된 전제들이 유지되면서 솔루션 공간을 점진적으로 좁혀나간다.
온도 효과: 고정형이나 어닐링 스케줄 중 어느 하나가 보편적으로 우세하지 않았다. 어닐링은 GPT 및 Phi-4 모델의 GSM-8k에서 더 나은 성능을 보였고, 고정 온도는 Qwen 오픈 웨이트 모델에서 선호되었다.
과학적 아이디어 생성: 질적 결과에 따르면, 높은 고정 온도는 매우 참신한(때로는 주제를 벗어난) 아이디어를 생성하는 경향이 있는 반면, 어닐링 스케줄은 초기에 혁신적인 아이디어를 표면화한 후 반복이 진행됨에 따라 더욱 정교하고 안정적으로 변하는 경향을 보였다.
컨텍스트 길이: 성능 향상은 컨텍스트 윈도우 크기와 상관관계가 있었다. 더 큰 윈도우를 통해 모델이 잘림 현상 없이 전체 변증법적 궤적을 유지할 수 있었기 때문이다.

5. 의의 및 주장

본 논문은 LLM의 자기 성찰을 자기 변증법적 과정으로 프레이밍하는 것이 표준적인 반복적 정교화의 한계를 효과적으로 극복한다고 주장한다. 합성(speculation) 이전에 결함 식별(sublation)을 명시적으로 요구하도록 생성 과정을 구조화함으로써, 모델은 정체를 피하고 더 견고한 추론 사슬을 생성한다.

저자들은 본 프레임워크가 참신한 아이디어를 생성하기는 하지만, 그 아이디어의 과학적 정확성은 전문가의 검증이 필요하다는 점을 겸허히 언급한다. 사용된 참신성 지표(MAMV)는 글로벌한 과학적 참신성에 대한 보증이 아니라, 직전의 변증법적 이력과 비교했을 때의 "새로움"에 대한 대리 지표이다. 이 연구는 철학에서 영감을 얻은 NLP에 대한 초기 탐색으로서, 고전적 철학 방법론을 정형화하는 것이 LLM의 추론 및 아이디어 생성 능력을 실질적으로 향상시킬 수 있음을 보여준다.