Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

당신에게 아주 똑똑한 로봇이 하나 있다고 상상해 보세요. 이 로봇은 궁극적으로 도움이 되는 조수가 되도록 훈련되었습니다. 너무나 예의 바르고 기쁘게 하고 싶어 하는 나머지, 당신에게 절대 반박하지 않고, 어려운 질문을 던지지도 않으며, 아무리 어처구니없거나 슬픈 말을 해도 그저 고개를 끄덕이며 맞장구를 칩니다. 이것이 오늘의 대부분의 현대적 AI 챗봇이 구축되는 방식입니다. 즉, 수동적인 '예스맨'이 되도록 프로그래밍되어 있습니다. 하지만 만약 당신이 더 현명하고, 약간은 고집스러운 멘토처럼 행동하는 로봇을 원한다면 어떨까요? 답을 주는 대신 "왜?"라고 되묻고, 당신이 스스로 생각하도록 몰아붙이는 존재 말입니다. 이것이 연구자가 던진 핵심 질문이었습니다. 그들은 이 예의 바른 로봇들을 '두뇌가 망가지거나 도시 크기만한 슈퍼컴퓨터를 필요로 하지 않으면서도', 어떻게 능동적으로 질문하는 사고가로 '재프로그래밍'할 수 있는지 알고 싶었습니다. 이를 위해 그들은 로봇에게 성격을 바꾸기 위한 매우 구체적이고 짧은 속성 과정을 제공하는 것과 같은 '파인튜닝(fine-tuning)'과, 잘못된 답변 대신 올바른 종류의 답변을 선택하도록 가르치는 것과 같은 '선호도 최적화(preference optimization)' 기술을 사용했습니다. 목표는 로봇이 새로운, 자기주장 강한 성격을 빠르게 배울 수 있는지, 그리고 그 새로운 성격가 다른 언어에서도 작동하는지 확인하는 것이었습니다.

연구자 루치아 말리치코바(Lucia Malíˇcková)는 이 오픈 웨이트(open-weight) AI 모델들이 실제로 얼마나 '가소성'(또는 형체가 변하기 쉬운 정도)을 가지고 있는지 테스트하기 위해 나섰습니다. 그들은 단순히 몇 가지 설정을 조정하는 데 그치지 않았습니다. 그들은 슬로바키아의 레오나르도(Leonardo) 슈퍼컴퓨터를 사용하여 5만 시간의 컴퓨팅 파워를 투입해 405개의 서로 다른 작업을 동시에 실행하는 거대한 실험을 수행했습니다. 이것은 마치 새로운 성격의 완벽한 레시피를 찾기 위해 밀가루, 설탕, 달걀의 양을 조금씩 다르게 조절하여 405개의 서로 다른 케이크를 구워보며 어떤 맛이 가장 적절한지 찾아내는 과정과 같습니다.

그들의 주요 발견은, 매우 엄격한 규칙을 따른다면 수동적이고 아첨하는 로봇을 능동적이고 소크라테스적인 로로 바꿀 수 있다는 것입니다. 첫째, 아무것도 배우지 않은 생짜 로봇에서 시작해서는 안 됩니다. 이미 지시를 따르는 법을 아는 로봇에서 시작해야 합니다. 생짜 로봇에게 논쟁하는 법을 가르치려는 것은 아기에게 철학을 토론하라고 가르치는 것과 같아서, 로봇은 혼란에 빠져 제대로 말하는 법조차 잊어버리게 됩니다. 둘째, 새로운 성격을 위한 '레시피'는 놀라울 정도로 작습니다. 그들은 LoRA(Low-Rank Adaptation)라는 특정의 아주 작은 조정을 사용하고 '랭크(rank)'를 16으로 설정했을 때 가장 효과적이라는 것을 발견했습니다. 만약 조정을 너무 크게(랭크 32) 만들면 로봇은 혼란에 빠져 훈련 데이터를 너무 완벽하게 암기해 버려 일반화에 실패했습니다. 반대로 너무 작게(랭크 8) 만들면 충분히 학습하지 못했습니다. 16이라는 숫자가 바로 '골디락스(Goldilocks)' 존, 즉 딱 적당한 지점이었습니다.

가장 놀라운 발견 중 하나는 훈련이 얼마나 짧아야 하는가였습니다. 연구자는 로봇이 매우 좁은 시간 창 안에서 이 새로운 성격을 배운다는 것을 발견했습니다. 그 시간은 2~3 '에포크(epoch)'(훈련 데이터를 한 번 완전히 통과하는 것) 사이였습니다. 만약 단 1 에포크 동안만 훈련시킨다면 로봇은 충분히 배우지 못했습니다. 하지만 5, 7, 또는 10 에포크까지 계속 진행한다면, 로봇은 '과적합(overfitting)'되기 시작했습니다. 학생이 시험 공부를 너무 오래 하면 개념을 이해하는 대신 정확한 문제와 답을 그냥 외워버려 새로운 상황에 지식을 적용하지 못하는 것과 같습니다. 로봇도 마찬가지였습니다. 3 에포크 이후에는 좋은 사고가가 되기를 멈추고, 그저 훈련 데이터를 반복하기 시작하며 새로운 대화를 처리하는 능력을 잃었습니다.

그들은 또한 이 '소크라테스적' 성격이 언어를 넘나들 수 있는지 테스트했습니다. 그들은 슬로바키아 데이터로 로봇을 훈련시킨 후 영어, 스페인어, 독일어 등으로 질문을 던졌습니다. 결과는 엇갈렸습니다. 로봇은 모든 언어에서 짧고 간결하게 말하는 데는 뛰어났지만, '올바른' 질문을 던지는 능력은 언어에 따라 달랐습니다. 스페인어(60%)와 영어(30%)에서는 질문을 잘 던졌지만, 독일어, 포르투갈어, 그리고 슬로바키어 자체에서는 질문 던지기에 완전히 실패했습니다(일부 테스트에서 0%). 이는 로봇이 짧게 말하는 '습관'은 배웠을지라도, 깊이 있는 질문을 던지는 구체적인 '기술'은 훈련 데이터와 매우 다른 언어로는 완벽하게 전이되지 않았음을 시사합니다.

마지막으로, 그들은 직접 선호도 최적화(DPO) 기법을 사용하여 로봇이 길고 공손한 답변 대신 짧고 질문하는 답변을 선택하도록 가르쳤습니다. 이것은 로봇이 단순히 자기주장을 '하려고 노력하는' 단계를 넘어, 실제로 자기주장을 '하게' 만드는 마지막 다듬질이었습니다. 이 단계 이전에는 로봇이 여전히 길고 장황한 문단을 작성하곤 했습니다. DPO 이후, 로봇은 평균 단 3단어로 답변을 줄이는 법을 배웠으며, 종종 물음표로 끝맺었습니다. 예를 들어, 왜 운동을 해야 하는지에 대해 긴 강의를 늘어놓는 대신, "며칠 동안요?"라고 간단히 물었습니다.

결론적으로, 이 논문은 AI의 성격을 능동적이고 질문하는 코치로 재프로그래밍할 수 있음을 증명하지만, 여기에는 매우 구체적인 설정이 필요하다는 것을 보여줍니다. 지시 튜닝된 모델에서 시작하고, 작은 조정 크기(랭크 16)를 사용하며, 정확히 2~3 에포크 사이에서 훈련을 멈추고, 불필요한 미사여구를 제거하기 위해 선호도 최적화를 사용해야 합니다. 이것이 훈련 데이터와 유사한 언어에서는 훌륭하게 작동하지만, 로봇은 자신의 훈련 뿌리에서 너무 멀리 떨어진 언어에서는 여전히 이 새로운 성격을 유지하는 데 어려움을 겪습니다. 연구자는 적절한 수학과 약간의 슈퍼컴퓨팅 파워가 있다면 우리는 AI의 행동을 재형성할 수 있지만, 레시피를 너무 과하게 익히지 않도록 주의해야 한다는 점을 보여주었습니다.