당신의 컴퓨터 안에 살고 있는 아주 똑똑한 로봇 친구를 상상해 보세요. 이 로봇은 당신의 화면을 보고, 화면에 무엇이 있는지 읽고, 심지어 버튼을 클릭하거나 단어를 입력하여 파일 정리나 항공권 예약 같은 업무를 마칠 수 있도록 도와줄 수 있습니다. 우리는 이들을 "컴퓨터 사용 에이전트(Computer-Use Agents)"라고 부릅니다. 오랫동안 과학자들은 이 로봇을 더 똑똑하게 만드는 가장 좋은 방법이 단순히 일을 하는 동안 더 많은 두뇌 능력을 부여하는 것이라고 생각했습니다. 이것은 마치 "퍼즐을 풀다가 막히면, 그냥 퍼즐을 더 오래 쳐다보거나 내가 지금까지 본 모든 것을 기억해 내려고 노력하면 돼"라고 생각하는 것과 같습니다. 이 개념을 "추론 시간 스케일링(inference-time scaling)"이라고 합니다. 즉, 로봇이 작업을 더 잘 수행할 수 있도록 작업을 수행하는 동안 더 많은 시간과 컴퓨터 에너지를 소비하는 것을 의미합니다.

하지만 여기 함정이 있습니다. 대부분의 초지능 로봇은 클라우드에 있는 거대하고 비싼 서버에서 거주합니다. 만약 우리가 이런 로봇을 배터리 용량도 작고 프로세서도 거대한 슈퍼컴퓨터가 아닌, 당신의 노트북이나 스마트폰에 넣고 싶다면 어떻게 될까요? 바로 여기서 "로컬(local)" 에이전트가 등장합니다. 질문은 이것입니다. 만약 당신의 기기에서 실행되는 더 작고 저렴한 로봇이 있다면, 그 로봇에게 더 많은 시간을 생각하거나 더 많은 과거를 기억하게 하는 것이 실제로 업무를 완수하는 데 도움이 될까요? 아니-면 그저 로봇이 제자리에서 헛바퀴를 돌게 하거나, 혼란에 빠지게 하거나, 당신의 배터리를 낭비하게 만들 뿐일까요? 이 논문은 바로 이 미스터리를 파헤치며, "더 열심히 생각하는 것"이 작은 로-컬 로봇들에게 실제로 도움이 되는지, 아니면 새로운 종류의 실수를 유발할 뿐인지 테스트합니다.

위대한 로컬 로봇 실험: 더 많이 생각하는 것이 더 많은 성공을 의미할까?

이 논문의 저자들은 이 아이디어를 검증하기로 했습니다. 그들은 세 가지 서로 다른 "로컬" 컴퓨터 에이전트(당신의 하드웨어에서 실행되는 로봇)를 설정하고, 그들에게 컴퓨터 화면에서 실제 세계의 과업을 해결하도록 요청하는 일련의 실험을 설계했습니다. 그들은 로봇에게 더 많은 자원을 주기 위해 네 가지 특정 "노브(knob, 조절 나사)"를 조정하며 어떤 일이 일어나는지 확인하고 싶었습니다.

1. 컨텍스추얼 스케일링 (맥락적 스케일링 - 기억의 노브): 로봇이 얼마나 많은 과거 스크린샷을 기억하는가?
2. 템포럴 스케일링 (시간적 스케일링 - 시간의 노브): 로봇이 멈춰야 하기 전까지 몇 번의 단계(클릭 또는 타이핑)를 수행하도록 허용되는가?
3. 스트럭처럴 스케일링 (구조적 스케일링 - 팀워크의 노브): 로봇이 모든 것을 스스로 할 것인가, 아니면 단계를 계획하는 부분과 실제로 버튼을 클릭하는 부분으로 업무를 둘로 나눌 것인가?
4. 패럴렐 스케일링 (병렬 스케일링 - 크라우드 소싱의 노브): 로봇이 한 번에 여러 가지 다른 계획을 세우고 그중 가장 좋은 것을 고르게 할 것인가?

결과는 놀라웠고 약간은 우스꽝스러웠습니다. 결과적으로 이러한 로컬 로봇들에게는 단순히 "더 열심히 노력하는 것"이 항상 "더 잘하는 것"을 의미하지는 않는다는 것이 밝혀졌습니다. 사실, 때로는 상황을 더 악화시키기도 합니다.

기억의 함정: 너무 많이 기억하기

먼저, 그들은 기억의 노브를 테스트했습니다. 그들은 기억력이 없는(현재 화면만 보는) 로봇은 재앙이라는 것을 발견했습니다. 로봇은 자신이 방금 무엇을 했는지 기억하지 못해 똑같은 버튼을 반복해서 클릭하는 햄스터가 쳇바퀴를 도는 것과 같은 루프에 빠집니다. 아주 약간의 히스토리(이전 화면 하나)를 주는 것만으로도 엄청난 변화가 있었습니다. 그것은 로봇을 안정시켰습니다.

하지만 저자들은 "스위트 스팟(최적의 지점)"이 있다는 것을 발견했습니다. 로봇에게 너무 많은 히스토리(4개가 아닌 8개의 과거 화면을 기억하게 하는 것)를 주었을 때, 로봇은 더 똑똑해지는 대신 실행 비용만 더 비싸졌습니다. 추가된 메모리는 작업을 더 잘 해결하는 데 도움이 되지 않았습니다. 대신, 로봇은 새로운 종류의 실수인 **조기 허위 성공(premature false successes)**을 저지르기 시작했습니다. 시험을 치르는 학생이 마지막 문제를 푸는 대신, 책을 읽는 데 지쳐서 그냥 "다 끝냈어요!"라고 답하며 시험지를 제출하는 상황을 상상해 보세요. 너무 많은 히스토리에 압도된 로봇은 가끔 실제로 작업을 마치지 않았음에도 불구하고 작업을 완료했다고 생각하곤 했습니다. 따라서 이 논문은 로컬 로봇의 경우, 루프를 피할 수 있을 만큼의 적당한 메모리는 필요하지만, 로봇을 혼란에 빠뜨려 조기에 포기하게 만들 정도로 너무 많아서는 안 된다고 제안합니다.

시간의 함정: 더 많은 단계, 똑같은 문제들

다음으로, 그들은 시간의 노브를 돌렸습니다. 그들은 "막히면 더 많이 시도하게 해보자!"라는 생각으로 로봇이 작업을 마칠 수 있도록 더 많은 단계를 허용했습니다. 결과는 어땠을까요? 로봇은 작업을 완수하는 데 별로 나아지지 않았습니다. 그저 더 오래 걸릴 뿐이었습니다.

저자들은 로봇에게 더 많은 시간을 주는 것이 로봇의 잘못된 논리를 고쳐주지 못한다는 것을 발견했습니다. 그저 똑같은 잘못된 움직임을 더 많이 하게 만들 뿐이었습니다. 만약 로봇이 잘못된 길로 가고 있다면, 15단계 대신 100단계를 주는 것은 단지 로봇이 길을 잃었다는 것을 깨닫기 전에 잘못된 길을 더 멀리 걷게 할 뿐이었습니다. 주요 이점은 로봇이 "시간 제한" 벽에 부딪히는 것을 막아준다는 것이었지만, 로봇이 실수를 하는 것을 막아주지는 못했습니다. 사실, 이는 종-종 앞서 언급한 "조기 허서 성공"으로 이어져 로봇이 작업을 다 마치지도 않았는데 끝났다고 생각하게 만들었습니다. 논문은 로컬 모델에게 단순히 더 많은 시간을 주는 것은 마법 같은 해결책이 아니며, 대부분 그저 배터리를 낭비하는 것에 불과하다고 제안합니다.

팀워크의 함정: 너무 많은 요리사

그다음으로, 그들은 구조적 스케일링을 시도했습니다. 그들은 로봇을 '플래너(Planner, 계획자)'와 '두어(Doer, 실행자)'로 나누었습니다. 플래너는 무엇을 할지 생각하고, 두어는 실제로 버튼을 클릭합니다. 그들은 이것이 장군과 병사가 있는 것처럼, 장군이 훌륭한 계획을 세우는 구조가 되기를 희망했습니다. 하지만 로컬 컴퓨터에서는 이것이 역효was되었습니다.

"플래너" 부분은 종종 엉망이거나 불완전한 계획을 작성했고, "두어"는 그 계획을 이해하지 못했습니다. 그것은 마치 장군이 병사가 알아듣지 못하는 언어로 명령을 외치는 것과 같았습니다. 이는 추가적인 작업량(계산 비용)을 늘렸고, 실제로 모든 것을 스스로 하는 단일 로봇보다 로봇의 작업 완수 능력을 떨어뜨렸습니다. 이 방식이 도움이 된 유일한 경우는 병렬 스케일링을 사용하여 플래너에게 여러 가지 다른 계획을 동시에 작성하게 하고 그중 최고를 고르게 했을 때뿐이었습니다. 이것은 조금 도움이 되었지만, 그 많은 추가 계획을 생성하는 데 엄청난 양의 컴퓨터 전력을 소모했습니다. 논문은 로컬 로봇의 경우, 남는 전력이 아주 많지 않은 한 (계획과 실행을 분리하기보다) 단순함을 유지하는 것(한 로봇이 두 가지 일을 모두 하는 것)이 보통 더 낫다고 제안합니다.

핵심 결론: 양보다 질

그렇다면 이 연구의 최종 판결은 무엇일까요? 저자들은 로컬 컴퓨터 에이전트에게 있어 "더 많은 연산량이 항상 더 좋다"는 기존의 생각은 함정이라고 제안합니다.

단순히 더 많은 메모리, 시간, 혹은 복잡한 팀 구조를 문제에 들이붓는 대신, 우리는 가진 것을 더 똑똑하게 사용하는 방법을 찾아야 합니다.

• 메모리를 과하게 공급하지 마세요: 약간의 히스토리는 좋지만, 너무 많으면 로봇을 혼란스럽게 합니다.
• 그저 더 오래 기다리지 마세요: 혼란에 빠진 로봇에게 더 많은 시간을 주는 것은 대개 로봇을 더 오랫동안 혼란스럽게 만들 뿐입니다.
• 단순하게 유지하세요: 업무를 계획과 실행으로 나누는 것은 로컬 기기에서 해결책보다는 오히려 더 많은 골칫거리를 만들어내는 경우가 많습니다.

이 논문은 로컬 컴퓨터 에이전트의 미래가 무차별적인 방식으로 "더 열심히 생각하게" 만드는 것에 있지 않다고 결론짓습니다. 대신, 자신의 한계를 인지하고, 언제 멈춰야 할지를 알며, 경로를 이탈하지 않고 유지하기 위해 딱 적절한 양의 자원을 사용하는 법을 설계하는 데 달려 있습니다. 이는 때때로 거대하고 과부하된 로봇보다 작고 집중력 있는 로봇이 더 낫다는 점을 상기시켜 줍니다.