💬 NLP

Benchmarking Real-Time Question Answering via Executable Code Workflows

이 논문은 기존 정적 벤치마크의 한계를 극복하기 위해 실행 가능한 코드 워크플로우를 통해 실시간 정보를 수집하고 자가 수리 메커니즘을 갖춘 동적 평가 프레임워크 'RT-QA'를 제안하며, 최신 모델들이 실시간 적응성 부족과 시간적 혼란으로 인해 낮은 정확도를 보임을 규명했습니다.

원저자: Wenjie Zhou, Yuan Gao, Xin Zhou, Hao Fu, Zhongjian Miao, Wei Chen, Bo Chen, Xiaobing Zhao

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenjie Zhou, Yuan Gao, Xin Zhou, Hao Fu, Zhongjian Miao, Wei Chen, Bo Chen, Xiaobing Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제: "과거의 교과서"만 보는 AI

지금까지 AI 를 평가할 때는 마치 학생에게 10 년 전의 역사 시험지를 내주는 것과 같았습니다.

기존 방식 (Static QA): "누가 햄릿을 썼나요?" 같은 질문은 정답이 변하지 않습니다. AI 가 기억력만 좋으면 정답을 맞힐 수 있어요.
하지만 현실은 다릅니다: "어제 <인민일보> 1 면 제목은 뭐였나요?", "지난 7 일간 아카이브에 컴퓨터 과학 논문이 몇 편 올라왔나요?" 같은 질문은 내일 가면 정답이 완전히 달라집니다.
현재의 문제: 기존 시험지는 정답이 고정되어 있어서, AI 가 검색을 하지 않고도 과거에 배운 지식 (기억) 으로 답을 맞출 수 있습니다. 하지만 실제 세상에서는 정보가 매일 변하는데, AI 가 그 변화를 따라가지 못하면 큰일 납니다.

2. 해결책: "살아있는 요리사"를 채용하다 (RT-QA)

저자들은 이 문제를 해결하기 위해 RT-QA라는 새로운 평가 시스템을 만들었습니다.
이것은 정해진 레시피 (정답) 를 주는 게 아니라, '요리 도구 (코드)'를 주는 방식입니다.

비유:
- 기존 방식: "오늘의 주가 정답은 100 원이다"라고 종이에 적어두고 AI 에게 맞히게 합니다. (내일 주가가 200 원이 되어도 정답은 100 원으로 고정됨)
- RT-QA 방식: "오늘의 주가를 찾아오려면 이 **자동 로봇 팔 (실행 가능한 코드)**을 써서 증권사 웹사이트에 직접 가서 숫자를 읽어오게 해"라고 합니다.
- 결과: AI 가 이 로봇 팔을 작동시켜 지금 이 순간 웹사이트에 접속해서 진짜 최신 정보를 가져와야만 정답을 맞출 수 있습니다.

3. 어떻게 만들었나요? (자동화된 탐정)

이런 '자동 로봇 팔'을 사람이 일일이 만들면 너무 힘들죠. 그래서 저자들은 AI 스스로가 코드를 짜게 했습니다.

탐정 (RT Agent) 배치: AI 에게 "이 웹사이트를 보고 오늘 날짜에 맞는 정보를 찾아오는 코드를 짜봐"라고 시킵니다.
스스로 고치기 (Self-Repair): 웹사이트 디자인이 바뀌면 코드가 고장 납니다. 이때 AI 가 "아, 버튼 위치가 바뀌었네?"라고 알아서 코드를 수정하고 다시 실행합니다. 마치 고장 난 로봇을 스스로 고치는 로봇 같은 거죠.

4. 실험 결과: AI 들의 실력은?

최고급 AI(GPT-5.2, GLM-4.7 등) 들을 이 새로운 시험에 붙여봤습니다. 결과는 충격적이었습니다.

성적표: 최고 모델도 평균 **46%**밖에 못 맞췄습니다. (정답이 100 점인데 절반도 못 맞춘 셈입니다.)
왜 실패했을까? (두 가지 큰 실수)
1. 게으른 검색 (Lazy Retrieval):
  - 상황: "어제 날씨 어땠어?"라고 물으면, AI 는 검색 결과의 **간단한 요약 (스니펫)**만 보고 "맑음"이라고 답합니다.
  - 문제: 하지만 실제 웹사이트에 들어가서 자세히 보면 "비"였을 수도 있습니다. AI 가 직접 가서 확인하지 않고, 남의 말만 믿는 게으름이 문제였습니다.
2. 시간 감각 혼란 (Temporal Confusion):
  - 상황: "2024 년에 열린 콘서트에서 누가 불렀고, 오늘 그 아티스트가 다시 콘서트를 연다면?" 같은 질문입니다.
  - 문제: AI 는 2024 년 정보를 찾아낸 뒤, 그 날짜를 '지금'으로 착각하고 계속 그 과거 날짜로 논리를 전개합니다. 마치 과거의 일기장을 꺼내와서 '오늘'의 일기라고 쓰는 것과 같습니다.

5. 결론: AI 는 '검색기'를 넘어 '탐정'이 되어야 한다

이 논문은 우리에게 중요한 메시지를 줍니다.

단순히 더 많은 정보를 검색하는 도구만으로는 부족합니다.
AI 는 과거의 정보와 현재의 시간을 명확히 구분할 줄 알고, 직접 웹사이트에 접속해서 정보를 꼼꼼히 확인하는 '능동적인 탐정'이 되어야 합니다.

한 줄 요약:

"AI 가 과거의 교과서만 외우는 게 아니라, 매일 변하는 세상의 생생한 소식을 직접 찾아와서 정확히 전달할 수 있도록, '살아있는 코드'로 시험을 치르고 그 약점을 찾아낸 연구입니다."

논문 요약: 실행 가능한 코드 워크플로우를 통한 실시간 질문 답변 (RT-QA) 벤치마킹

1. 문제 제기 (Problem)

기존의 대규모 언어 모델 (LLM) 평가 벤치마크는 정적 (Static) 인 질문 - 답변 쌍에 의존하고 있습니다. 이는 다음과 같은 치명적인 한계를 가집니다.

데이터 누출 (Data Leakage): 모델이 검색을 수행하지 않고 훈련 데이터의 기억을 통해 답변을 생성할 수 있음.
지식 노후화 (Knowledge Obsolescence): 시간이 지남에 따라 사실 관계가 변하면 정답이 무효화되어 평가의 신뢰성이 떨어짐.
실시간성 부재: 주식 가격, 날씨, 최신 뉴스 등 매일 업데이트되는 고빈도 정보에 대한 실시간 검색 및 추론 능력을 평가할 수 있는 체계가 부족함.

기존의 동적 벤치마크도 주로 주기적 업데이트 (월간/연간) 에 의존하거나 구조화된 데이터 소스 (API 등) 에 제한되어 있어, 오픈 웹의 비구조화된 실시간 정보를 평가하는 데는 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 RT-QA (Real-Time Question Answering) 라는 새로운 동적 평가 프레임워크를 제안합니다. 핵심 혁신은 "정적 정답" 대신 "실행 가능한 코드 워크플로우" 를 사용하는 것입니다.

실행 가능한 워크플로우 기반 정답 생성:
- 각 테스트 항목은 자연어 질문 ( $q_\tau$ ) 과 이를 해결하기 위한 Python 기반 코드 워크플로우 ( $w_\tau$ ) 의 튜플로 구성됩니다.
- 평가 시점 ( $t$ ) 에 워크플로우를 실행하여 웹을 크롤링하고 DOM 을 파싱함으로써 실시간 정답 (Ground Truth) 을 동적으로 생성합니다.
- 이는 평가 시점에 따라 정답이 변하는 상대적 시간 제약 (예: "어제", "지난 7 일") 을 가진 질문에 완벽하게 대응합니다.
RT Agent 프레임워크 (자동화 및 자가 수복):
- 워크플로우 생성: LLM 이 웹 페이지 구조를 분석하고, 크롤링 및 데이터 추출 로직을 포함한 Python 코드를 자동으로 생성합니다.
- 자가 수복 (Self-Repair): 웹 페이지 구조가 변경되어 코드가 실패할 경우, '수리 에이전트 (Repair Agent)'가 실패 원인을 분석하고 코드를 자동으로 수정하여 워크플로우를 복구합니다.
- 확장성: 연구자들은 URL 만 제공하면 시스템이 자동으로 질문과 워크플로우를 생성하여 벤치마크를 확장할 수 있습니다.
데이터셋 구성:
- 범위: 금융, 스포츠, 정책 등 12 개 도메인의 320 개 중국어 질문.
- 난이도:
  - L1 (Direct): 직접적인 정보 검색.
  - L2 (1-Hop): 과거 사건을 통해 엔티티를 식별한 후 현재 정보 검색 (예: "2025 년 행사가 열린 도시의 현재 날씨").
  - L3 (2-Hop+): 복잡한 추론 체인을 통한 다단계 정보 검색.

3. 주요 기여 (Key Contributions)

RT-QA 벤치마크 도입: 실행 가능한 워크플로우를 사용하여 실시간 정보 처리 능력을 평가하는 최초의 동적 벤치마크를 제안했습니다.
RT Agent 프레임워크 개발: 워크플로우를 자동으로 생성하고 유지보수 (자가 수복) 하는 에이전트 시스템을 구축하여 벤치마크의 확장성을 확보했습니다.
세밀한 실패 모드 분석: 7,000 개 이상의 에이전트 추적을 분석하여 실시간 QA 의 주요 병목 현상을 규명했습니다.

4. 실험 결과 (Results)

GPT-5.2, GLM-4.7, Claude-4.5 등 최첨단 모델 8 개를 대상으로 6 일간 평가한 결과는 다음과 같습니다.

낮은 전체 정확도: 최상위 모델조차 평균 정확도가 약 46% 에 불과했습니다. (대부분의 오픈 웨이트 모델은 40% 미만). 이는 정적 태스크에서는 뛰어난 성능을 보이지만, 실시간 정보 검색에는 취약함을 의미합니다.
성능 변동성: 검색 엔진의 스니펫 결과에 의존하는 '게으른 검색 (Lazy Retrieval)'으로 인해 하루 사이 성능 편차가 극심했습니다.
역설적인 난이도 곡선 (U-shape): 예상과 달리 중간 난이도 (L2) 에서 성능이 가장 낮았습니다.
- L2 실패 원인 (Temporal Confusion): 에이전트가 과거 사건 날짜 (예: 2025 년) 를 검색한 후, 이를 '현재 시간'으로 오인하여 이후 추론을 잘못 수행하는 인지적 오류가 발생했습니다.
- L3 회복: 오히려 복잡한 L3 태스크는 에이전트가 더 엄격한 계획 (Rigorous Planning) 을 강요받아 시간 변수를 명확히 구분하게 하여 L2 보다 성능이 좋았습니다.

5. 실패 모드 분석 (Failure Modes)

7,000 개 이상의 오류 경로를 분석한 결과, 주요 실패 원인은 다음과 같습니다:

게으른 검색 (Lazy Retrieval, 20%): 실제 웹사이트를 방문하지 않고 검색 결과 스니펫만으로 답변을 도출.
시간적 혼란 (Temporal Confusion, 20%): 과거 날짜와 현재 시간을 혼동하여 추론 오류 발생.
불완전한 스캔 (Incomplete Scan, 15%): 웹 페이지의 일부만 읽거나 목록의 첫 번째 항목만 확인.
출처 품질 (Source Quality, 10%): 공식 사이트 대신 블로그 등 신뢰도 낮은 소스 사용.

6. 의의 및 결론 (Significance)

실시간 에이전트의 한계 규명: 현재 LLM 기반 에이전트들은 단순 검색 도구 이상으로 진화해야 하며, 특히 시간 상태 관리 (Temporal State Management) 능력이 부족함을 증명했습니다.
새로운 평가 패러다임: 정적 데이터셋을 넘어, 실행 가능한 코드를 통해 실시간으로 정답을 생성하는 '실행을 통한 평가 (Evaluation-via-Execution)' 패러다임을 제시했습니다.
미래 방향: 단순한 검색 능력 향상을 넘어, 과거 정보와 현재 목표를 명확히 구분하고 정보를 능동적으로 검증하는 '적극적인 조사자 (Proactive Investigator)' 형태의 에이전트 개발이 필요함을 시사합니다.

이 연구는 오픈 소스 코드와 데이터셋을 공개하여 (GitHub), 실시간 정보 처리 능력을 갖춘 신뢰할 수 있는 AI 어시스턴트 개발을 가속화하는 인프라를 제공했습니다.