Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs

핵심 문제: 잘못된 이유로 정답을 맞히는 것

시험을 보고 있다고 상상해 보세요. 모든 문제의 정답을 맞혔고, 선생님은 당신에게 A 학점을 주었습니다. 하지만 나중에 당신은 자신이 수학을 실제로 이해한 것이 아니라, 그저 패턴을 암기했을 뿐이라는 사실을 깨닫습니다. 예를 들어, 질문에 "사과"라는 단어가 들어갈 때마다 답이 "빨간색"이었다는 패턴을 발견한 것입니다. 당신은 왜 사과가 빨간색인지 그 이유를 알았던 것이 아니라, 그저 패턴을 알았던 것뿐입니다.

이 논문은 텍스트를 분석하는 데 사용하는 AI 도구인 **거대 언어 모델(LLM)**이 종종 정확히 이와 같은 행동을 하고 있다고 주장합니다. AI가 텍스트를 코딩(예: 트윗을 "분노" 또는 "지지"로 라벨링하는 것)하는 방식에 대해 인간 전문가와 일치할 때, 우리는 AI가 그 개념을 이해하고 있다고 가정합니다. 하지만 이 논문은 다음과 같이 말합니다. 일치하는 것만으로는 충분하지 않습니다. AI는 개념 뒤에 숨겨진 깊은 이론을 이해하는 대신, 지름길(즉, "표면적 특징")을 포착하여 정답을 맞히고 있는 것일 수도 있습니다.

"동굴 속의 로봇" 이야기

이를 설명하기 위해, 저자는 B9이라는 이름의 로봇과 동굴에 들어가는 소년의 이야기를 들려줍니다. 그들은 벽에 새겨진 비문을 발견합니다:

"세 명이 깊은 길을 걸었다. 물이 말하는 곳에서 돌이 닫혔다. 그들의 마지막 숨결이 여전히 머문다."

• 로봇 (B9): 단어들을 스캔합니다. "죽음", "물", "돌", "숨결"이라는 단어를 봅니다. 그리고 즉시 결론을 내립니다. "이것은 경고다! 위험하다!" 로봇은 무서운 단어들(표면적 특징)에 반응하고 있는 것입니다.
• 소년: 그는 고대 의식의 규칙을 알고 있습니다. 그는 비문에 죽음에 관한 단어들이 있지만, 그 의도는 다르다는 것을 깨닫습니다. 이 비문은 돌아가라고 경고하는 것이 아니라, 죽은 자들을 그 근원으로 따르라는 뜻입니다. 이것은 경고가 아니라 "봉헌"(신성한 행위)입니다.

로봇은 단어 자체를 본 것이 아니라 단어 사이의 관계를 보지 못했기 때문에 실패했습니다. 로봇은 이론적 배경을 이해하지 못했기 때문에 이것이 경고인지 축복인지를 구분할 수 없었습니다.

세 가지 "맹점" (불투명성)

논문은 현재의 AI 코딩 도구들이 결정 방식을 숨기는 세 가지 "맹점"을 가지고 있다고 말합니다:

1. 맹목적인 정의 (The Blind Definition): AI에게 "돌봄(Care)"이라는 이름은 주어지지만, 무엇이 "돌봄"에 해당하는지에 대한 구체적인 규칙은 알려주지 않습니다. AI는 단지 "돌봄"이 보통 어떤 모습일지 추측할 뿐입니다.
2. 보이지 않는 증거 (The Invisible Evidence): AI는 답을 내놓지만, 어떤 부분 때문에 그런 결정을 내렸는지 텍스트의 어느 부분을 근거로 했는지 보여주지 않습니다. 이는 마치 판사가 증거를 제시하지 않고 판결만 내리는 것과 같습니다.
3. 비밀 레시피 (The Secret Recipe): AI는 우리가 볼 수 없는 비밀 공식으로 다양한 단서들을 조합하여 최종 답변을 만듭니다. 우리는 AI가 중요한 단서를 무시했는지, 아니면 아주 작은 단서를 과하게 강조했는지 알 수 없습니다.

해결책: "그레인 캘리브레이션 (Grain Calibration)"

저자는 **그레인 캘리브레이션(Grain Calibration)**이라는 새로운 방법을 제안합니다. 이것은 복잡한 레시피를 아주 작고 테스트 가능한 단계들로 쪼개어, 케이크가 정확히 어떻게 구워지고 있는지 확인할 수 있게 하는 과정이라고 생각하면 됩니다.

단순히 AI에게 "이 텍스트가 '돌봄'인가요?"라고 묻는 대신, 이 방법은 AI가 이론에 기반하여 일련의 구체적인 이진 질문(절)에 답하도록 강제합니다:

1. 탐지 (Detection): "텍스트에 고통받는 존재가 언급되어 있는가?" (예/아니오)
2. 구별 (Distinction): "이 고통은 도덕적 문제로 다뤄지는가, 아니면 단순히 슬픈 사실로 다뤄지는가?" (예/아니오)
3. 태도 (Stance): "글쓴이가 이 고통에 대해 도덕적 입장을 취하고 있는가?" (예/아니오)

작동 방식:

• 인간의 개입 (The Human in the Loop): 인간 연구자가 이론에 기반하여 이러한 질문들을 설정합니다.
• 증거 (The Evidence): AI는 각 질문에 대해 "예" 또는 "아니오"를 답하는 데 사용된 텍스트의 정확한 문장을 지목해야 합니다.
• 규칙 (The Rule): 명확하고 단순한 수학적 규칙(예: 가중치 점수)이 이러한 답변들을 결합합니다. 예를 들어: 만약 (고통 = 예) AND (도덕적 문제 = 예) AND (태도 = 예) 이라면, 그것은 "돌봄"이다.

어떻게 작동하는가:

• 만약 AI가 "고통"에는 "예"라고 답했지만 "도덕적 문제"에는 "아니오"라고 답했고, 최종 코드가 "돌봄 아님"이라면, 우리는 AI가 실제로 이론을 따르고 있다는 것을 알 수 있습니다.
• 만약 AI가 최종 코드는 맞혔지만 "도덕적 문제" 질문에 틀린 답을 했다면, 우리는 AI가 지름길(편법)을 사용했다는 것을 알 수 있습니다.

저자는 AI가 단어 패턴이 아닌 이론적 규칙을 사용하도록 강제하기 위해 분석의 "알갱이(grain, 크기)"를 조정한다는 의미에서 이를 **"그레인 캘리브레이션"**이라 부릅니다.

이것이 왜 모든 것을 바꾸는가

이 방법을 사용하여 AI가 정답을 맞힌다면, 우리는 AI가 왜 정답을 맞혔는지 알 수 있습니다.

• 전: "AI가 인간과 일치하기 때문에 이것을 '돌봄'이라고 말한다." (우리는 AI가 똑똑한 것인지, 아니 그냥 운이 좋은 것인지 알 수 없습니다.)
• 후 (그레인 캘리브레이션): "AI가 고통받는 존재를 찾았고, 이를 도덕적 문제로 식별했으며, 태도를 취했기 때문에 이것을 '돌봄'이라고 말한다." (우리는 AI가 실제로 우리가 관심을 갖는 개념을 측정하고 있다는 것을 알 수 있습니다.)

목표는 AI를 더 똑똑하게 만드는 것이 아니라, AI의 과정을 투명하게 만들어 우리가 원하는 것을 제대로 측정하고 있는지 확신할 수 있도록 만드는 것입니다.

결론

이 논문은 AI가 인간과 일치한다는 이유만으로 신뢰해서는 안 된다고 결론짓습니다. 우리는 AI가 단계별로 자신의 작업 과정을 보여주도록(show its work) 만드는 시스템을 구축해야 합니다.

• 이전: "AI가 인간과 일치하므로 이것은 '돌봄'이다." (AI가 똑똑한지 아니면 운이 좋은지 알 수 없음).
• 이후 (그레인 캘리브레이션): "AI는 고통받는 존재를 발견했고, 그것이 도덕적 문제임을 식별했으며, 태도를 취했기 때문에 이것을 '돌봄'이라고 판단한다." (AI가 실제로 우리가 중요하게 여기는 개념을 측정하고 있음을 알 수 있음).

목표는 AI의 지능을 높이는 것이 아니라, AI의 과정을 투명하게 하여 AI가 올바른 것을 측정하고 있는지 확인할 수 있게 하는 것입니다.