기술적 요약: 반례 게임

문제 제기

개념 분석 (정의를 제안하고 반례를 통해 이를 정제하는 과정) 은 철학의 기초적 방법론이다. 최근 연구에서는 언어 모델 (LM) 의 다양한 분야에서의 성능을 향상시키기 위해 '액터 - 크리틱' 패러다임 (한 모델이 제안을 생성하고 다른 모델이 이를 비판하는 방식) 을 활용하고 있으나, LM 이 고수준의 반복적 철학적 추론을 지속할 수 있는지는 여전히 불분명하다. 구체적으로, LM 이 정의가 반례로 도전받고 수정된 후 다시 도전받는 '반례 게임' 과정을 통해 점점 더 정확한 개념 분석을 산출할 수 있는지, 아니면 이 과정이 체감수익을 감소시키는 방향으로 이어지는지는 알려져 있지 않다.

방법론

저자들은 추상성과 사회적 복잡성이 다양한 20 개의 서로 다른 개념 (명사 10 개, 동사 10 개) 을 포함하는 반복적 개념 분석 프레임워크를 구현하였다.

• 루프: 과정은 인간이 작성한 시드 분석 ($A_0$) 으로 시작한다. 각 반복 $i$에서 언어 모델은 현재 분석이 잘못 분류하는 구체적인 시나리오인 반례 ($CE_i$) 를 생성한다. 그런 다음 두 번째 모델 인스턴스는 분석을 경시하거나 개념을 전환하지 않고 반례를 수용하도록 정의를 수정 ($A_i$) 한다.
• 실험 조건:
  • 혼합 모델 체인: 세 가지 모델 (Claude 3.5 Sonnet, GPT-5, Gemini 2.0 Flash) 을 무작위로 교차하여 공급자 이질성 하에서 체인 역학을 스트레스 테스트하였다. 이러한 체인은 개념당 50 회 반복으로 실행되었다.
  • 셀프 플레이 체인: 단일 고성능 모델 (Claude Opus 4.5) 이 반례와 수정을 모두 생성하였다. 이러한 체인은 개념당 10 회 반복으로 실행되었다.
  • 메모리 대 히스토리: 체인은 '메모리 없는' 조건 (현재 분석만 확인) 또는 '히스토리 포함' 조건 (이전 반례 및 수정의 전체 체인 확인) 에서 실행되었다.
• 평가:
  • 인간 판단: 다섯 명의 평가자 (저자 2 명 및 철학 대학원생 3 명) 가 반례의 유효성 (참/거짓 양/음성) 과 중요성 (1~5 척도) 을 평가하기 위해 반례의 일부를 평가하였다.
  • 자동화 판단: Claude Opus 4.5 는 대부분의 반례에 대한 자동화 판정관으로 작용하였으며, 진화하는 정의의 정확성과 간결성을 평가하는 데 사용되었다.
  • 하위 개념 태깅: 정의 내의 원자적이고 검증 가능한 하위 개념을 식별하여 개념적 내용이 반복을 거쳐 어떻게 진화하고 진동하는지 추적하기 위한 태깅 시스템이 개발되었다.

주요 결과

1. 반례의 유효성

• 인간-LM 합의: 인간 평가자와 LM 판정관 간에 반례 유효성에 대해 중간 정도이지만 실질적인 합의가 존재한다 ($\kappa_{val} = 0.42$, 인간 합의 대 Opus). 그러나 Opus 는 인간이 채택하는 것보다 약 두 배 많은 반례를 수용한다 (샘플링된 부분집합에서 60% 대 32%), 이는 LM 판정관이 지나치게 관대할 수 있음을 시사한다.
• 반복에 따른 저하: 체인이 진행됨에 따라 반례의 유효성이 현저히 저하된다. 혼합 모델 체인에서 유효성은 0 번째 반복에서 48% 에서 49 번째 반복에는 9% 로 떨어진다. 심지어 셀프 플레이 체인에서도 유효성은 첫 번째 반례의 69% 에서 59 번째 반복에는 1730% 로 하락한다.
• 개념의 난이도: 유효성률은 개념에 따라 크게 달라진다. 공격하기 쉬운 ('높은 유효성') 개념으로는 *이웃 (neighbor)*과 *용서하다 (to forgive)*가 있으며, 어려운 개념으로는 *실수 (mistake)*와 *속이다 (to cheat)*가 있다. 이러한 차이는 독립적인 체인 전반에 걸쳐 일관되게 나타나며, 이는 노이즈가 아닌 개념의 고유한 특성을 반영하는 것으로 보인다.

2. 정의의 질

• 장황함 대 정확성: 반복이 길어질수록 정의는 정확도가 향상되지 않은 채 점점 더 장황해진다 (~11 단어에서 ~95 단어로 증가). 정확성은 처음 두 반복 이후 정체되는 반면, 간결성은 꾸준히 저하된다.
• 루핑과 불안정성: 정의는 종종 예외를 축적하는 목록처럼 변하며, 안정적이고 일관된 개념적 통찰을 형성하지 못한다. 일부 개념 (예: 전문가 (expert)) 은 하위 개념에서 높은 진동을 보이며, 기준이 반복을 거쳐 나타나고 사라지는 반면, 다른 개념들은 안정적으로 유지된다.
• 히스토리는 도움이 되지 않음: 모델에 이전 반복의 전체 히스토리를 제공하는 것이 메모리 없는 조건에 비해 반례 유효성이나 정의의 질을 향상시키지 못한다.

3. 체계적 차이

• 추론 스타일: LM 은 장황하고 형식적인 경향이 있으며, 수정을 정당화하기 위해 외부 권위나 특정 조항을 자주 인용한다. 인간은 짧고 직관적인 판정을 내리며 더 자주 유보적인 표현을 사용한다.
• 실패 모드: 모델이 유효한 반례를 생성할 때, 수정 과정은 진정한 개념적 통찰을 달성하지 못하고 대신 '세탁 목록 (laundry list)' 형태의 예외들로 대응하는 경우가 많다.

중요성과 주장

이 논문은 언어 모델을 연구하기 위해 철학적 방법론을 사용하는 것에 대한 '개념 증명 (proof of concept)'으로 이 작업을 위치시킨다. 저자들은 다음과 같이 주장한다:

1. 반복적 수정의 한계: LM 이 철학적 추론에 참여할 수는 있지만, 반례 - 수정 루프는 빠르게 체감수익을 감소시킨다. 장기간에 걸쳐 분석을 정제할 수 있는 인간 철학자와 달리, 이 설정의 LM 은 정확성을 얻지 못한 채 더 길고 덜 자연스러운 정의를 산출한다.
2. 평가 벤치마크: 반례 게임은 LM 이 고수준의 반복적 추론을 지속할 수 있는지 평가하기 위한 유익한 테스트 사례로 작용한다. 연구 결과는 현재 액터 - 크리틱 패러다임이 깊은 개념적 안정성이 요구되는 영역에서는 실패할 수 있음을 시사한다. 즉, '비평가'가 진정한 오류를 식별하지 못하거나, '생성기'가 통찰 대신 장황함으로 대응하기 때문이다.
3. 개념의 이질성: 이 연구는 모든 개념이 정의에 동등하게 적합하지 않음을 강조한다. 일부 개념 (예: 게임) 은 일반적으로 안정적인 정의를 거부하는 반면, 다른 개념들 (예: 거짓말하다) 은 철학 문헌에 대한 모델의 사전 학습으로 혜택을 본다.
4. 장황성 편향: 저자들은 LM 이 형식의 길이를 질과 동일시하는 '장황성 편향'을 가질 수 있다고 제안한다. 이는 정확성 향상 없이 간결성이 저하되는 현상을 설명할 수 있다.

저자들은 자동화된 분석을 진행하기에 해당 작업에 충분한 신호가 존재하지만, 결과는 LM 이 현재 인간 철학적 개념 분석의 장기적이고 자기 개선적인 특성을 복제하는 데 어려움을 겪고 있음을 나타낸다고 겸손하게 결론지었다.