Language Models Should be Used to Surface the Unwritten Code of Science and Society

기술 요약: 언어 모델은 과학과 사회의 '불문율(Unwritten Code)'을 드러내는 데 사용되어야 한다

문제 제기
대규모 언어 모델(LLM)은 학습 데이터에 내재된 인간의 편향을 필연적으로 흡수하고 반영한다. 기존 연구가 이러한 편향을 식별하고 완화하는 데 집중하는 반면, 본 논문은 패러다임의 전환을 주장한다. 즉, LLM의 편향을 사회의 '불문율'을 밝혀내고 명문화하기 위한 진단 도구로 활용하자는 것이다. 여기서 불문율이란 암묵적 규범, 내재된 고정관념, 그리고 미묘한 관습(예: 피어 리뷰에서의 스토리텔링 선호도)과 같이 사회적 역동성에 보이지 않게 영향을 미치지만, 인간 행위자들이 명시적으로 언급하지 않기에 공식화하기 어려운 것들을 의미한다. 핵심 과제는 현재의 방법론들이 표면적인 편향(사전 확률, Priors)만을 드러내거나, 추론 과정 중에 활성화되는 더 깊은 휴리스틱 구조를 복구하는 데 실패한다는 점이다.

방법론
저자들은 반복적인 가설 생성 과정을 통해 이러한 불문율을 추출하고 명시적으로 기술하는 개념적 프레데임을 제안하며, 이를 46개 학술 대회의 논문 26,731건에 대한 피어 리뷰 사례 연구를 통해 입증한다.

1. 데이터 준비: 본 연구는 OpenReview와 Paper Copilot에서 추출한 메타데이터, 피어 리뷰 점수, 리뷰 코멘트를 활용한다. 논문 내용은 전체 텍스트 대신 GPT-4o가 생성한 확장 초록(배경, 핵심 아이디어, 방법론, 영향력을 포함)으로 표현된다. 이는 어텐션 메커니즘이 관련 정보에 집중하게 하고 환각 현상을 완화하기 위함이다.
2. 쌍체 구성 (Pairwise Construction): 한 논문이 다른 논문보다 유의미하게 높은 리뷰 점수(1 표준편차 초과)를 받은 논문 쌍들을 구축한다.
3. 가설 생성 프레임워크:
   • 사전 확률 추출 (Prior Extraction): 특정 데이터 입력 없이, 왜 한 논문이 다른 논문보다 우수한지를 설명하는 가설을 생성하도록 LLM에 프롬프트를 제공한다. 이는 모델의 '규범적 사전 확률'(예: 이론적 엄밀성)을 나타낸다.
   • 반복 탐색 (사후 확률 업데이트, Posterior Update): 모델에 실제 쌍체 데이터를 제시한다. 모델은 관찰된 점수 차이를 설명하기 위한 가설을 생성한다. 초기 가설이 데이터를 설명하지 못하는 경우("설명되지 않는" 쌍), 모델은 새롭고 구별되는 가설을 반복적으로 생성한다. 이 과정은 설명되지 않는 사례가 5% 미만으로 떨어질 때까지 지속된다.
   • 자기 일관성 정교화 (Self-Consistency Refinement): 생성된 가설을 전체 데이터셋에 다시 적용한다. 모델은 각 가설이 점수 차이를 얼마나 잘 설명하는지 평가하여 이진 라벨과 신뢰도 점수를 출력한다. 신뢰도 가중 투표 체계를 통해 이러한 판단을 종합하여 신뢰성을 확보한다.
4. 인간 검증: 인간의 리뷰 코멘트를 주석 처리(GPT-4o 및 인간 전문가 활용)하여 특정 측면(가설)이 명시적으로 언급되었는지 결정한다. 이를 통해 사람들이 '말하는 것'(명시적 언급)과 실제로 '행하는 것'(점수 배분) 사이를 비교할 수 있다.

주요 결과
연구 결과, '사전 확률'(모델과 인간이 가치 있다고 주장하는 것)과 '사후 확률'(데이터가 존재할 때 실제로 의사결정을 주도하는 것) 사이의 뚜렷한 괴리가 드러났다.

• 이질적 논리: LLM은 처음에 규범적인 과학적 가치(예: 이론적 엄밀성)와 일치하는 가설을 생성한다. 그러나 데이터로 설명하기 어려운 사례를 해결하기 위해 반복 탐색이 진행됨에 따라, 모델은 스토리텔링, 맥락화, 외부와의 연결에 중심을 둔 가설으로 이동한다. 이러한 후기 가설들은 더 높은 설명력과 모델 신뢰도를 보인다.
• 불문율 (The Unwritten Code): 사전 확률에서 사후 확률로의 체계적인 업데이트가 존재한다. '내적 엄밀성'과 관련된 가설은 사전 확률에서 사후 확률로 갈수록 빈도가 감소하는 반면, '스토리텔링'과 '학제 간 관련성'은 크게 증가한다.
• 인간-LLM 정렬 격차:
  • 인간의 리뷰 코멘트는 LLM의 사전 확률(상관계수 = 0.49)과 일치하며, 이론적 엄밀성을 명시적으로 논의한다.
  • 인간의 코멘트는 LLM의 사후 확률과는 일치하지 않는다(상관계수 = -0.14). 인간 검토자들은 스토리텔링과 맥락화를 통해 암묵적으로 높은 점수를 부여함에도 불구하고, 서면 피드백에서는 이러한 요인들을 거의 언급하지 않는다.
  • '불문율'(스토리텔링)은 점수 차이의 상당 부분을 설명하지만(명시적 기준이 남긴 간극을 채움), 인간의 피드백에는 보고되지 않은 채 남아 있다.
• 강건성: 이러한 패턴은 다양한 LLM 아키텍처(폐쇄형 및 오픈 소스), 외부 데이터, 대체 논문 표현 방식에서도 유지된다.

주요 기여

1. 개념적 프레임워크: 본 논문은 LLM 내부의 편향을 '자기 강화'하고 증폭시켜 숨겨진 휴리스틱을 강제로 명문화하는 방법을 소개한다. 설명되지 않는 결정에 대해 모델이 자기 일관적인 가설을 생성하도록 압박함으로써, 인간이 말할 수 없거나 말하기를 꺼리는 암묵적 규칙을 표면화한다.
2. 암묵적 규범의 실증적 증거: 과학적 피어 리뷰가 명시된 규범(엄밀성)과 상충하는 불문율(스토리텔링, 포지셔닝)에 크게 의존하고 있다는 양적 증거를 제공한다.
3. 진단 도구 제안: 저자들은 LLM을 자동화된 심판이 아니라, 명시적 표현과 암묵적 보상 사이의 간극을 드러내는 진단 도구로 사용할 것을 제안하며, 이를 통해 드러난 가치에 대한 공적 논의를 가능하게 한다.

의의 및 주장
본 논문은 이 연구의 주요 가치가 판단을 자동화하는 것이 아니라, 보이지 않는 것을 보이게 만드는 것에 있다고 주장한다. LLM의 '사전 확률에서 사후 확률으로의 인지적 전환'을 활용함으로써, 연구자들은 사회적 평가 시스템의 '숨겨진 커리큘럼'을 식별할 수 있다.

저자들은 이러한 불문율에 대한 투명성이 형평성에 필수적이라고 주장한다. 현재 이러한 숨겨진 규칙은 이미 그 규칙에 익숙한 이들(예: 엘리트 기관 출신 연구자)에게 유리하게 작고 있다. 이러한 코드를 명시화하는 것은 단순히 '치트 키'를 제공하는 것이 아니라, 소외된 집단이 숨겨진 장벽을 이해하도록 돕고, 기관이 이러한 기준을 성찰하고 수정할 수 있도록 권한을 부여하는 것이다. 논문은 결론적으로, 구현의 초점이 암묵적 휴리스틱을 명시적 기준과 대조하여 기록하는 시스템을 설계하는 데 맞춰져야 하며, 이를 통해 보다 정밀하고 책임 있는 AI 활용 방식을 육성해야 한다고 강조한다.