Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

이 논문은 LLM 의 환각 문제와 데이터 관계 모델링 부재를 해결하기 위해 지식 그래프 기반의 구조화된 작업 공간을 활용하여 일관성과 해결 가능성이 높은 멀티모달 에이전트 평가 태스크를 자동 생성하는 'Graph2Eval' 프레임워크와 이를 검증한 벤치마크를 제안합니다.

핵심

이 논문은 **"Graph2Eval"**이라는 새로운 시스템을 소개합니다. 이 시스템은 인공지능 에이전트 (AI 비서) 가 얼마나 똑똑하고 잘 일하는지 테스트하기 위한 새로운 시험지를 자동으로 만들어주는 도구입니다.

기존의 시험지가 너무 단순하거나, AI 가 이미 답을 외워서 풀 수 있는 문제들이었다면, Graph2Eval 은 매번 새로운 상황과 복잡한 미로를 만들어내어 AI 의 진짜 실력을 가려냅니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이런 시스템이 필요할까요? (기존의 문제점)

비유: "외운 답만 아는 학생"
지금까지 AI 를 평가할 때 쓰던 시험지는 사람이 일일이 문제를 만들고 정답을 적어놓은 '고정된 문제집'이었습니다.

• 문제점: AI 가 이 문제집을 몇 번이나 풀다 보면, 문제를 이해하는 게 아니라 정답을 암기하게 됩니다. 마치 시험지 10 번을 풀어서 100 점 받은 학생이, 막상 새로운 문제를 주면 못 푸는 것과 같습니다.
• 기존 자동 생성의 한계: AI 가 스스로 문제를 만들게 하면, AI 가 헛소리를 하거나 (할루시네이션), 문제 자체가 해결 불가능한 엉뚱한 내용이 만들어지기도 합니다.

2. Graph2Eval 은 어떻게 해결할까요? (핵심 아이디어)

비유: "정교한 레고 도시 건설"
이 시스템은 AI 가 문제를 풀 때 헷갈리지 않도록 **정리된 지식 지도 (지식 그래프)**를 먼저 만듭니다.

1. 지식 지도 만들기 (Knowledge Graph):

   • 책이나 웹사이트에 있는 수많은 정보 (사람, 장소, 사건, 버튼, 링크 등) 를 레고 블록처럼 쪼개고, 서로 어떻게 연결되는지 **실 (관계)**로 엮어줍니다.
   • 예를 들어, "서울"이라는 블록과 "한강"이라는 블록을 "가깝다"는 실로 연결하는 식입니다. 이렇게 하면 정보가 흩어지지 않고 체계적으로 정리됩니다.

2. 문제 만들기 (Subgraph Sampling):

   • 이제 이 거대한 레고 도시에서 **작은 구역 (서브그래프)**을 잘라냅니다.
   • "이 구역에는 '검색 버튼'과 '결과 페이지'가 연결되어 있어야 해"라고 정해진 규칙 (템플릿) 에 따라 조각을 따냅니다.
   • 이렇게 하면 문제의 구조가 명확해지고, AI 가 실제로 해결할 수 있는 문제만 만들어집니다.

3. 시험지 완성 (Task Generation):

   • 잘라낸 레고 조각들을 바탕으로 AI 가 읽을 수 있는 구체적인 지시문 (예: "한강 근처의 맛집을 검색해줘") 을 생성합니다.
   • 이때 AI 가 헛소리를 하지 않도록 여러 번 검증 (필터링) 과정을 거칩니다.

3. 이 시스템이 만든 시험지 (Graph2Eval-Bench)

이 시스템은 두 가지 종류의 시험지를 만들었습니다.

• 문서 이해 테스트 (RAG 에이전트용):
  • 비유: "두꺼운 백과사전에서 특정 정보를 찾아서 요약해라."
  • AI 가 방대한 문서 속에서 정확한 정보를 찾아내고 비교하는 능력을 봅니다.
• 웹 상호작용 테스트 (웹 에이전트용):
  • 비유: "인터넷 쇼핑몰에서 '신발'을 검색하고, 필터를 걸고, 장바구니에 담는 시뮬레이션."
  • AI 가 실제 웹사이트를 돌아다니며 버튼을 누르고, 폼을 채우는 등 실제 행동을 할 수 있는지 봅니다.

4. 결과는 어떨까요?

실험 결과, Graph2Eval 이 만든 시험지는 기존 방법보다 훨씬 훌륭했습니다.

• 의미의 일관성: 문제가 문맥에 맞지 않는 헛소리를 할 확률이 20% 감소했습니다.
• 해결 가능성: AI 가 실제로 문제를 풀 수 있는 확률이 17% 증가했습니다.
• 차별화: 이 시험지를 통해 어떤 AI 가 진짜로 똑똑하고, 어떤 AI 는 단순히 답을 외운 것인지 정확하게 구별할 수 있었습니다.

5. 한 줄 요약

"Graph2Eval 은 AI 가 시험을 볼 때, '외운 답'이 아닌 '진짜 실력'을 보여주기 위해, 지식 지도를 바탕으로 매번 새로운 미로와 퍼즐을 자동으로 만들어주는 똑똑한 시험 감독관입니다."

이 기술은 앞으로 AI 가 더 복잡하고 다양한 현실 세계의 일을 맡을 때, 우리가 그 AI 를 얼마나 신뢰할 수 있는지 판단하는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

다중 모달 LLM 기반 에이전트 (Agent) 의 자율성과 일반화 능력이 향상됨에 따라, 기존 정적 (Static) 데이터셋은 에이전트의 능력을 평가하는 데 한계를 드러내고 있습니다.

• 기존 데이터셋의 한계: 수동 주석이나 기존 리소스의 재사용에 의존하여 확장성이 낮고, 에이전트가 실제 환경에서 과제를 수행할 때 '기억된 지식의 검색'인지 '진짜 일반화 능력'인지 구분하기 어렵습니다.
• 기존 생성 방법의 문제: LLM 을 이용해 에이전트 과제를 자동 생성하려는 시도가 있었으나, LLM 의 환각 (Hallucination) 문제와 내부 데이터 관계 모델링의 부재로 인해 생성된 과제는 의미적 일관성 (Semantic Consistency) 이 부족하거나 **해결 불가능 (Unsolvable)**한 경우가 많습니다.
• 동적 환경 적응 부족: 웹 상호작용 과제의 경우, 정적 페이지 관계나 단순화된 환경 분석에 의존하여 실제 동적인 웹 환경으로의 전이가 어렵습니다.

2. 제안 방법론: Graph2Eval (Methodology)

이 논문은 **지식 그래프 (Knowledge Graph, KG)**를 기반으로 한 자동화된 에이전트 과제 생성 프레임워크인 Graph2Eval을 제안합니다. 이 프레임워크는 외부 이종 데이터 소스로부터 구축된 KG 를 '잠재적 과제 공간 (Latent Task Space)'으로 활용하여 의미적으로 정합적이고 실행 가능한 과제를 생성합니다.

핵심 구성 요소 및 워크플로우

1. 데이터 수집 및 전처리 (Data Ingestion):
   • 문서: 텍스트, 표, 그림, 제목 등 계층적 의미와 레이아웃 요소를 보존하여 구조화합니다.
   • 웹: 자동 크롤링을 통해 DOM 구조와 스크린샷을 수집하며, 인간과 유사한 상호작용 시뮬레이션을 통해 복잡한 웹 디자인을 처리합니다.
2. 지식 그래프 구축 (KG Construction):
   • 비정형/반정형 데이터를 계산 가능한 의미 공간으로 변환합니다.
   • 노드 (Nodes): 문단, 제목, 하이퍼링크, 버튼, 테이블 셀 등 요소들을 노드로 매핑합니다. 텍스트와 시각적 콘텐츠 (이미지 설명 등) 를 결합하여 임베딩합니다.
   • 엣지 (Edges): 구조적 관계 (순서, 포함), 의미적 연관성, 웹 상호작용 (이동, 클릭 트리거) 등을 엣지로 정의합니다.
3. 서브그래프 샘플링 (Subgraph Sampling):
   • 문서 이해 (RAG Agent): 임베딩 유사도와 구조적 일관성을 기반으로 관련 노드를 추출합니다.
   • 웹 상호작용 (Web Agent): '시드 (Seed)' 기반 전략을 사용합니다. 버튼, 폼, 링크 등 핵심 운영 노드를 시드로 선정하고, 이를 중심으로 k-hop 이웃을 수집하여 상호작용 맥락을 포착합니다.
4. 과제 생성 (Task Generation):
   • 템플릿 및 메타패스 (Meta-path): 사전 정의된 작업 템플릿과 메타패스 패턴 (예: 검색 -> 필터 -> 상세보기) 을 사용하여 서브그래프를 구체적인 실행 가능한 작업 체인으로 변환합니다.
   • LLM 활용: 샘플링된 서브그래프 구조와 컨텍스트 정보를 LLM 에게 제공하여 다양한 과제를 생성합니다.
5. 커버리지 최적화 (Coverage Optimization):
   • 생성된 과제의 품질, 다양성, 대표성을 보장하기 위해 다단계 필터링 (노드 도달성 분석, LLM 점수화, 유사도 분석) 을 수행합니다. MMR(Maximal Marginal Relevance) 전략을 사용하여 중복을 제거하고 다양성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 관점의 과제 생성: 다중 소스 데이터로 구축된 KG 를 '잠재적 과제 공간'으로 간주하여, 생성된 에이전트 과제의 의미적 일관성과 해결 가능성을 획기적으로 개선했습니다.
2. Graph2Eval 프레임워크: 데이터 내 의미적 관계를 활용한 자동 과제 생성을 위한 통합 파이프라인을 제시하며, 재현 가능한 방식으로 신속한 데이터셋 생성을 가능하게 합니다.
3. Graph2Eval-Bench 데이터셋: RAG 에이전트와 웹 에이전트를 모두 평가할 수 있도록 설계된 1,319 개의 과제 (문서 이해 1,002 개, 웹 상호작용 317 개) 로 구성된 벤치마크를 구축했습니다.

4. 실험 결과 (Results)

Graph2Eval-Bench 를 다양한 LLM 기반 에이전트 (GPT-4o, Qwen-VL, DeepSeek, Agent S 2.5 등) 에 적용하여 평가했습니다.

• 성능 향상: KG 가 없는 베이스라인 대비 생성된 과제의 의미적 일관성은 20%, 해결 가능성은 17% 평균적으로 향상되었습니다.
• 에이전트 성능 차별화:
  • 문서 이해: GPT-4o 와 DeepSeek-V3 이 높은 성능을 보였으며, 모델 크기에 따른 성능 차이가 명확하게 드러났습니다.
  • 웹 상호작용: Agent S 2.5(반성 및 메모리 기능 보유) 가 SoM Agent(Set-of-Marks) 보다 전반적으로 우수한 성능 (69.20% vs 14.51%) 을 보였습니다. 이는 생성된 과제가 단순한 시각적 정합이 아닌 다단계 추론과 반성 능력을 요구함을 시사합니다.
• 효율성: 문서 이해 과제당 평균 34.87 초, 웹 상호작용 과제당 평균 95.51 초의 빠른 생성 시간을 기록하여 수동 주석 대비 효율성이 뛰어납니다.
• Ablation Study: KG 를 사용하지 않은 경우, 웹 과제가 단일 페이지 상호작용에 국한되거나 페이지 간 관계가 누락되어 해결 불가능한 경우가 많았으며, 의미적 일관성도 낮았습니다.

5. 의의 및 결론 (Significance)

• 실제 환경 평가의 가능성: 정적 데이터셋의 한계를 극복하고, 실제 웹 환경과 문서 구조를 반영한 동적이고 복잡한 과제를 자동 생성함으로써 에이전트의 진짜 일반화 능력을 평가할 수 있는 새로운 기준을 제시했습니다.
• 확장성과 재현성: 수동 노력이 필요한 기존 벤치마크 구축 방식을 자동화하여, 다양한 시나리오 (RAG, Web Agent) 에 맞는 대규모 고품질 데이터셋을 지속적으로 생성할 수 있는 기반을 마련했습니다.
• 향후 연구 방향: 생성된 과제를 통해 에이전트의 취약점 (노드/엣지 수준 오류) 을 정밀하게 분석하거나, 적대적 환경에서의 안전성 (Safety) 평가를 위한 테스트 케이스 생성 등으로 연구 범위를 확장할 수 있습니다.

요약하자면, Graph2Eval은 지식 그래프의 구조적 이점을 활용하여 기존 LLM 기반 생성 방식의 결함을 보완하고, 에이전트 평가의 신뢰성과 확장성을 동시에 해결한 혁신적인 프레임워크입니다.