Each language version is independently generated for its own context, not a direct translation.
🍕 비유: "거대한 피자 한 판 vs. 잘게 썬 조각"
상상해 보세요. AI 는 **거대한 피자 한 판 (전체 코드베이스)**을 보고, 그중에서 **잘못된 토핑 (버그)**을 찾아내서 **새로운 토핑 (패치/수정 코드)**을 만들어야 하는 요리사입니다.
1. 기대 vs. 현실: "책 한 권을 한 번에 읽을 수 있을까?"
최근 AI 모델들은 "내가 한 번에 100 만 단어 (또는 100 만 토큰) 를 기억할 수 있어!"라고 자랑합니다. 마치 도서관에 있는 책 한 권을 한 번에 훑어보며 내용을 완벽히 이해할 수 있다고 믿는 것과 같습니다.
하지만 이 연구는 **"그게 진짜로 가능할까?"**를 의심하며 실험을 시작했습니다.
2. 실험 1: "조각조각 나누어 먹기" (에이전트 방식)
먼저 연구진은 AI 에게 **"피자를 한 번에 다 먹지 말고, 한 조각씩 잘라내서 하나씩 고쳐봐"**라고 시켰습니다. 이것이 바로 에이전트 (Agent) 방식입니다.
- 결과: AI 는 잘했습니다! (성공률 30% 이상)
- 이유: AI 가 한 번에 처리한 정보량이 사실 2~3 만 단어 정도에 불과했습니다. 즉, 책 한 권을 한 번에 읽은 게 아니라, 중요한 페이지만 몇 장씩 떼어내서 읽은 것과 비슷했습니다.
- 교훈: AI 가 문제를 해결한 것은 '긴 문맥을 한 번에 이해하는 능력' 때문이 아니라, '문제를 잘게 쪼개서 단계별로 해결하는 능력' 때문이었습니다.
3. 실험 2: "진짜 긴 문맥 테스트" (한 번에 다 보기)
그럼, AI 가 정말로 긴 문맥을 처리할 수 있는지 확인하기 위해 완벽한 조건을 만들었습니다.
- 조건: 버그를 고치기 위해 필요한 모든 파일 (책의 모든 페이지) 을 AI 가 한 번에 볼 수 있게 넣어주었습니다. (검색 실패 같은 문제는 없게요.)
- 목표: AI 가 **한 번의 시도 (Single-shot)**로 버그를 고쳐야 합니다.
- 결과: 대참사! 📉
- 최신 모델들도 성공률이 **0%~7%**로 뚝 떨어졌습니다.
- AI 는 **환각 (Hallucination)**을 일으켰습니다.
- "이 파일의 100 번째 줄을 고쳐라"라고 했는데, 실제로 그 파일은 50 줄밖에 없거나 아예 존재하지 않았습니다.
- 마치 책장을 넘기다가 페이지 번호를 헷갈려서, 없는 페이지를 고치려고 애쓰는 것과 같습니다.
4. 결론: "이름만 긴 문맥, 실상은 짧은 기억"
이 연구의 결론은 매우 명확합니다.
"현재의 AI 는 '긴 문맥'을 지원한다고 하지만, 실제로는 긴 내용을 한 번에 이해하고 논리적으로 추론하는 능력은 아직 부족합니다."
- 에이전트 방식 (조각조각): AI 가 잘합니다. (문제를 작게 나누니까요.)
- 긴 문맥 방식 (한 번에): AI 가 못합니다. (정보량이 너무 많아서 혼란스럽고, 엉뚱한 곳을 건드리거나 아예 망가뜨립니다.)
💡 요약 및 시사점
이 논문은 **"AI 가 책 한 권을 한 번에 읽어서 버그를 고친다는 건 아직은 꿈일 뿐"**이라고 말합니다.
지금 우리가 보는 AI 의 뛰어난 성능은 **"긴 문맥을 읽는 능력"이 아니라, "문제를 잘게 쪼개서 단계별로 해결하는 지혜"**에서 나온 것입니다. 따라서 앞으로는 AI 가 긴 문맥을 진짜로 이해할 수 있도록 개발해야 하며, 단순히 "에이전트 방식"이 잘 작동한다고 해서 AI 가 긴 문맥을 다룰 수 있다고 착각해서는 안 된다고 경고합니다.
한 줄 평:
"AI 는 거대한 도서관을 한 번에 훑어보는 마법사가 아니라, 필요한 책장만 하나씩 찾아서 꼼꼼히 읽는 열성적인 사서에 가깝습니다."