From Brute Force to Semantic Insight: Performance-Guided Data Transformation Design with LLMs

당신이 로봇에게 사진 속 고양이를 인식하는 법을 가르치려 한다고 상상해 보세요. 단순히 고양이 사진 백만 장을 보여줄 수도 있겠지만, 그것은 지루할 뿐만 아니라 로봇이 조명이나 각도 때문에 혼란을 겪게 만들 수도 있습니다. 더 똑똑한 방법은 같은 고양이를 비틀거나, 늘리거나, 색을 다르게 하거나, 확대 및 축소해서 보여주는 것입니다. 이것을 "데이터 증강(data augmentation)"이라고 부릅니다. 이는 로봇에게 특정 사진 하나만을 배우는 것이 아니라, 고양이가 '진짜' 어떻게 생겼는지를 배울 수 있도록 만화경 같은 다양한 시각을 제공하는 것과 같습니다.

오랫동안 사진을 어떻게 비틀고 늘릴지 최적의 방법을 찾아내는 것은 추측의 영역이었습니다. 과학자들은 무작위로 조합을 시도하거나(무차별 대입 방식), 완벽한 레시피를 찾기 위해 복잡한 수학을 사용했습니다. 하지만 새로운 플레이어가 등장했습니다: 바로 거대 언어 모델(LLM)입니다. 여러분도 이야기를 쓰거나 코드를 작성하는 똑똑한 챗봇으로 알고 계실 것입니다. 질문은 이것입니다: 이 챗봇들이 단어에는 능숙하지만, 로봇을 더 똑똑하게 만드는 '사진을 비트는 코드'를 작성하는 데에도 능숙할 수 있을까요? 도전 과제는 이 챗봇들이 보통 텍스트로부터 학습하며, "이 코드가 로봇을 더 똑똑하게 만들었는가?"라는 피드백으로부터 학습하지 않는다는 점이었습니다. 이 논문은 바로 이 문제, 즉 챗봇에게 교과서를 주는 대신 그 결과를 보여줌으로써 챗봇이 더 나은 사진 혼합 코드를 작성하도록 가르칠 수 있는지에 대해 탐구합니다.

추측 게임에서 스마트한 코칭으로

뷔르츠부르크 대학교의 연구진은 추측하는 것을 멈추고 코칭을 시작하기로 했습니다. 그들은 표준 AI 챗봇을 데이터 변환의 마스터 셰프로 바꿀 수 있는지 확인하고 싶었습니다. 단순히 챗봇에게 "이미지를 비트는 코드를 작성해 줘"라고 요청하는 대신, 챗봇이 그 결과를 맛볼 수 있는 시스템을 구축했습니다.

"무차별 대입" 주방
먼저, 학습을 위한 거대한 요리책이 필요했습니다. 그들은 챗봇에게 단순히 추측하게 하지 않았습니다. 그들은 "무차별 대입" 실험을 수행했습니다. 주방에서 재료를 무작위로 6,000번 섞는 셰프를 상상해 보세요. 그들은 이미지 비틀기(크기 조절, 뒤집기, 색상 변경 등)의 6,000가지 서로 다른 조합을 가져와서 이를 단순한 이미지 인식 모델에 테스트했습니다. 그들은 레시피 자체에는 관심이 없었습니다. 오직 점수에만 집중했습니다. 이 특정 비틀기 조합이 모델이 이미지를 더 잘 인식하도록 도왔는가? 그들은 모든 조합에 대한 점수를 기록했습니다. 이를 통해 6,000개 이상의 "레시피"와 그에 해당하는 "맛 점수"가 담긴 거대한 데이터베이스를 만들었습니다.

챗봇에게 맛을 가르치기
다음으로, 강력한 코딩 챗봇(Olympic Coder 7B)을 가져와 특별한 식단을 제공했습니다. 그들은 챗봇에게 단순히 코드만 먹인 것이 아니라, 코드와 점수의 쌍을 먹였습니다. 그들은 챗봇에게 이렇게 보여주었습니다: "여기 낮은 점수를 받은 레시피가 있다. 여기 높은 점수를 받은 레시피가 있다. 차이점을 알겠니?"

그들은 저차원 적응(LoRA) 기법을 사용했는데, 이는 챗봇에게 전체 뇌를 다시 쓰는 대신 가장 중요한 세부 사항에 집중할 수 있게 도와주는 특수 안경을 씌워주는 것과 같습니다. 챗봇은 코드를 보고 다음과 같이 예측하는 법을 배웠습니다: "내가 이런 식으로 코드를 작성하면 점수가 올라갈 것이다. 내가 저런 식으로 코드를 작성하면 점수가 내려갈 것이다." 챗봇은 정확한 단어를 암기한 것이 아니라, 좋은 변환을 만드는 '느낌'을 배운 것이었습니다.

결과: 추측이 아닌 천재성
결과는 놀라울 정도로 명확했습니다. 이 훈련을 받기 전 챗봇에게 코드를 작성하도록 요청했을 때, 결과는 다소 처참했습니다. 문법(syntax)을 맞춘 비율은 약 22%에 불고, 생성된 코드의 평균 점수는 약 0.10으로 매우 낮았습니다. 마치 공부하지 않은 학생이 시험지에 무작위로 답을 휘갈겨 쓰는 것과 같았습니다.

하지만 훈련 후에는 어땠을까요? 챗봇은 전문가가 되었습니다.

• 효율성: 기존의 "무차별 대입" 방식은 최적의 조합을 찾기 위해 6,000개의 무작위 조합을 시도해야 했습니다. 하지만 훈련된 챗봇은 단 280개의 후보(28일 동안 매일 10개씩)만을 시도하여 그와 같거나 혹은 더 나은 솔루션을 찾아냈습니다. 이는 건초더미 전체를 파헤치는 대신, 바늘이 정확히 어디에 숨어있는지 알고 바늘을 찾는 것과 같았습니다.
• 단순히 강한 것이 아닌, 스마트함: 챗봇은 단순히 본 대로 최고의 레시피를 복사한 것이 아닙니다. 챗봇은 '논리'를 배웠습니다. 예를 들어, 이미지를 특정 크기(예: 256 픽셀)로 크기 조절하는 것이 종종 높은 점수의 핵심이라는 것을 알아냈습니다. 챗봇은 코드와 결과 사이의 관계를 이해한 것이지, 단순히 코드를 암기한 것이 아니었습니다.
• "사고의 사슬(Chain of Thought)"의 함정: 연구진은 흥자로운 실험을 했습니다. 그들은 챗봇에게 코드를 작성하기 전에 단계별로 생각하고 이유를 설명하라고 요청했습니다(Chain-of-Thought라고 불리는 인기 있는 기법). 놀랍게도, 이는 상황을 더 악화시켰습니다. 챗봇은 써야 하는 추가적인 단어들 때문에 혼란을 겪었고, 성능이 떨어졌습니다. 이 특정 작업에서는 챗봇이 긴 설명 없이 바로 코드로 직행할 때 가장 잘 작동한다는 것이 밝혀졌습니다.

이것이 의미하는 바
이 논문은 AI를 더 좋게 만들기 위해 복잡한 보상 체계나 인간 교사가 필요하지 않을 수도 있음을 시사합니다. 우리는 단지 AI에게 자신의 작업 결과를 보여주기만 하면 됩니다. AI가 코드를 쓰고, 테스트하고, 점수를 통해 배우는 루프를 만듦으로써, AI는 스스로 더 나은 코드를 작성하는 법을 터득할 수 있습니다.

이 연구는 챗봇이 이미지 인식을 개선하는 코드를 작성하는 법을 배울 수는 있지만, 모든 것에 작동하는 마법 지팡이는 아니라는 점을 보여줍니다. 연구진은 이 실험을 오직 하나의 특정 이미지 모델(ResNet)과 하나의 데이터셋(CIFAR-10)에 대해서만 테스트했습니다. 그들은 이미지를 비트는 최선의 방법은 특정 로봇과 그 로봇이 보고 있는 특정 사진에 크게 의존할 수 있다고 제안합니다. 하지만 핵심적인 결론은 매우 흥 \겹습니다: AI는 단순히 무엇이 작동하고 무엇이 작동하지 않는지를 관찰함으로써 더 나은 엔지니어가 되는 법을 배울 수 있으며, 이를 통해 혼란스러운 추측 게임을 스마트하고 유도된 발견의 과정으로 바꿀 수 있다는 것입니다.