Reasoning Models of Artificial Intelligence Think Like Humans Do

수십 년 동안 과학자들은 인간의 정신이 명시적으로 배우지 않은 문제를 어떻게 해결하는지에 대해 논쟁해 왔습니다. 아이가 사진을 보고 자동차를 식별하는 법을 배우거나, 학생이 정확한 단계를 배우지 않고도 새로운 수학 문제를 풀어낼 때, 뇌 속에서 숨겨진, '파생된' 연결이 갑자기 나타난 것처럼 느껴지곤 합니다. 어떤 이론들은 이러한 연결이 직접적인 교육을 거치지 않고 자발적으로 발생한다고 제안합니다. 그러나 다른 관점은 진정한 의미의 '발현'은 강화의 역사 없이는 존재할 수 없다고 주장합니다. 매개 이론(mediational theory)으로 알려진 이 관점은, 마치 갑작스러운 통찰처럼 보이는 것이 실제로는 일련의 작고 중간적인 단계들의 결과라고 제안합니다. 이러한 단계들, 즉 종종 침묵 속의 단어나 정신적 이미지는 설령 교사나 연구자가 이를 구체적으로 훈련하려 의도하지 않았더라도, 그 자체의 결과에 의해 연습되고 강화됩니다. 이것은 정신이 보이지 않는 강화된 습관을 통해 아이디어를 연결하는 다리를 놓는 것인지, 아니면 어떤 신비로운 논리의 도약(leap of logic)을 통해 연결하는 것인지에 대한 문제입니다.

이 질문은 최근 인간 행동 연구를 넘어 인공지능의 핵심 영역으로 이동했습니다. 클레어몬트 대학, 플로리다 공과대학교, 그리고 캘리포니아 주립대학교 로스앤젤레스의 연구진으로부터 나온 새로운 관점은, 가장 진보된 컴퓨터 프로그램들이 행동 과학자들이 오랫동안 주장해 온 바로 그 점을 이제 증명하고 있다고 시사합니다. 저자들은 현대의 거대 언어 모델이 복잡한 과업을 해결하는 방식을 조사함으로써, 이 기계들이 정답으로 곧장 뛰어넘지 않는다는 것을 보여줍니다. 대신, 이들은 매개 이론에서 설명하는 인간의 행동을 그대로 모방하여 단계별 과정을 수행합니다. 연구진은 이러한 시스템에서 보이는 '추론'이 마법이나 지능의 갑작스러운 발현이 아니라, 인간 학습자가 자신의 내적 사고를 강화하는 것과 마찬가지로, 해결책의 각 중간 단계를 강화하는 훈련의 결과라고 주장합니다.

논문은 파생 관계(derived relations), 즉 사람이 직접적으로 연결되도록 가르침을 받지 않은 사물들 사이의 연결이라는 개념을 재검토하며 시작됩니다. 전통적인 실험에서, 아이는 그림 속의 자동차와 '자동차'라는 단어가 일치한다는 것을 배울 수 있으며, 이후 추가적인 훈련 없이도 다른 물체들 사이에서 '자동차'를 찾아달라는 요청을 받았을 때 올바르게 자동차를 가리킬 수 있습니다. 이는 흔히 자극 등가성(stimulus equivalence)이라고 불립니다. 저자들은 이 연결이 훈련되지 않았거나 강화되지 않았다는 생각에 이의를 제기합니다. 그들은 아이가 '자동차'라는 단어를 들을 때, 스스로 그 단어를 소리 내어 말하거나 마음속으로 반복한다고 제안합니다. 이 단어를 반복하는 행위는 매개 행동(mediating behavior)입니다. 아이는 자동차를 마주하고 있기 때문에, '자동차'라는 단어를 말하는 것은 자신이 듣는 것과 자신이 말하는 것 사이의 일치에 의해 강화됩니다. 이 강화는 연구자가 아이에게 그 단어를 말하도록 명시적으로 보상할 계획을 세우지 않았더라도 직접적으로 일어납니다. 이 연결은 미스터리가 아닙니다. 그것은 아이의 행동이 환경에 의해 강화된 직접적인 결과입니다.

저자들은 이 논리를 컴퓨터가 현재 사고하는 방식에 확장합니다. 초기 버전의 인공지래는 단순한 예측 기계와 같았습니다. 그들은 문장을 보고 익숙한 구절에서 다음 단어를 추측하는 사람처럼 통계적 패턴에 기반하여 다음 단어를 예측했습니다. 이러한 시스템은 질문에 답할 수는 있었지만, 문제를 분해하지 않고 단 한 번의 빠른 시도로 답을 내놓았습니다. 그들은 복잡한 문제를 추론하는 능력이 부족했습니다. '추론 모델'로의 전환은 엔지니어들이 컴퓨터에게 풀이 과정을 보여주도록 강제하는 것이 성능을 향কে시킨다는 것을 깨달았을 때 일어났습니다. 단순히 답을 주는 대신, 컴퓨터는 해결책으로 이어지는 일련의 단계인 '사고의 사슬(chain of thought)'을 생성하도록 유도되었습니다. 이러한 컴퓨터 훈련 방식의 변화는 인간 행동의 매개 이론과 완벽하게 일치합니다.

이러한 추론 모델의 훈련은 각 단계를 정교화하는 여러 단계로 이루어집니다. 먼저, 모델은 방대한 양의 텍스트에 노출되어 언어의 기본 패턴을 학습합니다. 그다음, 인간 전문가가 제공하는 유익하고 안전한 답변들을 통해 미세 조정(fine-tuning)됩니다. 마지막으로, 이 논점에서 가장 중요한 단계로서, 모델은 강화 학습을 거칩니다. 이 단계에서 컴퓨터는 단순히 최종 답변이 맞는지 틀린지만을 평가받는 것이 아니라, 그 답에 도달하기 위해 거친 단계들에 대해서도 평가를 받습니다. 모델이 문제를 올바르게 해결하면, 시스템은 그 답으로 이어진 전체 단계의 사슬 전체를 강화합니다. 그러나 최종 답변만을 보상하는 표준 모델에서는 시스템이 전체 사슬을 하나의 덩어리로 강화하기 때문에, 만약 최종 답변이 우연히 맞았다면 잘못된 단계조차 강화될 수 있습니다. 이를 해결하기 위해, 각 단계를 개별적으로 확인하는 특정 '과정 보상(process reward)' 모델들이 개발되었습니다. 이러한 고급 시스템에서는 만약 어떤 단계가 틀렸다면, 최종 답변이 맞더라도 해당 단계의 확률을 낮춤으로써, 기계가 운 좋게 결론에 도달하는 것이 아니라 올바른 중간 단계를 밟도록 학습하게 합니다.

연구진은 이것이 인간의 문제 해결 방식과 정확히 일치한다고 지적합니다. 사람은 어려운 과제에 직면했을 때 보통 단 한 번의 끊김 없는 폭발적인 동작으로 최종 답을 내놓지 않습니다. 대신, 문제를 분해하고 스스로에게 말을 걸거나 단계를 적어 내려갑니다. 각 단계는 다음 단계를 위한 단서 역할을 하며, 해결을 향한 진전이 이루어짐에 따라 강화됩니다. 저자들은 컴퓨터 엔지니어들이 자신들의 모델이 갑자기 스스로의 작업을 검토하거나 오류를 수정하는 것을 목격했을 때, 이를 '발현적(emergent)' 행동이라고 불렀다는 점에 주목합니다. 연구진은 이것이 잘못된 명칭이라고 주장합니다. 강화되지 않은 것은 아무것도 발현되지 않았습니다. 모델은 자신의 작업을 검로하는 것이 정답에 더 자주 도달하게 해주었기 때문에 그 방식을 학습한 것이며, 시스템은 그러한 행동의 사슬에 보상을 준 것입니다. '발현'은 단지 관찰자가 훈련 이력에 대해 알고 있는 지식의 공백일 뿐, 메커니ism(기제)의 공백이 아니었습니다.

컴퓨터 과학과 행동 과학의 이러한 수렴은 강력한 통찰을 제공합니다. 이 시스템을 구축한 엔지니어들은 행동 과학자들이 내린 결론에 도달했습니다. 즉, 복잡한 문제를 해결하는 가장 효과적인 방법은 진행 과정 중에 강화되는 일련의 매개 단계들을 사용하는 것이라는 점입니다. 이 논문은 이것이 우연이 아니라, 인간의 뇌든 실리콘 칩이든 문제를 해결하는 방식에 관한 근본적인 진리라고 제안합니다. 우리가 이러한 고급 모델에서 보는 '추론'은 목표에 도달하기 위해 필요한 중간 행동들을 강화하는 훈련 이력의 결과일 뿐입니다. 이를 이해함으로써, 우리는 인간과 기계 모두에서 감탄하게 되는 복잡하고 단계적인 사고가 학습과 강화라는 동일한 기본 원칙 위에 세워져 있음을 알 수 있습니다. 우리가 어떻게 생각하는지에 대한 미스터리는 숨겨진 논리의 도약 속에 있는 것이 아니라, 우리가 그곳에 도달하기 위해 묵묵히 밟아 나가는, 강화된 단계들 속에 있습니다.