Automating the Open Data Maturity Index with a Multi-Agent LLM System
본 논문은 연구, 검증 및 판정 워크플로우를 통해 2025년 공식 답변 대비 70.1%의 정확도를 달성함으로써 오픈 데이터 성숙도 지수 평가를 자동화하는 멀티 에이전트 LLM 시스템을 제시하며, 동시에 오픈 웹 데이터의 한계를 극복하기 위해 자기 보고식 관행보다 발견 가능한 증거를 우선시하도록 설문지를 재구성할 필요성을 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
매년 브뤼셀의 전문가 팀은 36개 유럽 국가가 공공 데이터를 얼마나 잘 공유하고 있는지 심사하기 위해 모입니다. 그들은 긴 질문 목록을 던집니다. 정부에 오픈 데이터 계획이 있는가? 국가 웹사이트는 사용하기 쉬운가? 데이터셋이 실제로 제대로 작동하는가? 각 국가에 대해, 해당 국가의 팀이 이 질문들에 직접 답하고, 이후 인간 검토자가 그 답변들이 사실인지 확인하기 위해 검토합니다. 이 과정은 느리고 비용이 많이 들며, 신뢰에 크게 의존합니다. 킹스 칼리지 런던(King's College London)의 연구진이 던진 질문은 간단했습니다. 인공지능 에이전트 팀이 이 일을 대신할 수 있을까? 그들은 기계가 공개된 인터넷을 샅샅이 뒤져 증거를 찾아내고, 인간의 도움 없이도 공정하고 정확하게 국가들을 채점할 수 있는지 알고 싶었습니다.
연구진은 세 명의 디지털 에이전트로 구성된 작은 위원회처럼 작동하는 시스템을 구축했습니다. 첫 번째 에이전트인 '연구원(Researcher)'은 질문을 읽고 증거를 찾기 위해 웹을 검색합니다. 만약 답변처럼 보이는 문서를 발견하면 점수를 제안합니다. 두 번째 에이전트인 '검증자(Verifier)'는 회의론자 역할을 합니다. 이 에이전트의 유일한 임무는 주장을 반박하는 증거를 찾아내어 연구원의 말이 틀렸음을 입증하는 것입니다. 만약 두 에이전트가 합의에 도달하지 못하면, 세 번째 에이전트인 '중재자(Adjudicator)'가 개입하여 최종 결정을 내립니다. 결정적으로, 이 시스템에는 "모르겠다"라고 말할 수 있는 방법이 있습니다. 만약 에이전트들이 공개된 웹에서 충분한 증거를 찾을 수 없다면, 추측하는 대신 질문 답변을 거부하도록 프로그래밍되어 있습니다. 이는 매우 중요한데, 인터넷에는 정보의 공백이 존재하기 때문입니다. 어떤 관행에 대해 언급이 없다고 해서 반드시 그 관행이 존재하지 않는다는 뜻은 아닙니다.
연구진이 8개국 샘플을 대상으로 1,000개 이상의 질문에 이 시스템을 테스트했을 때, 기계가 잘 해낼 수는 있지만 특정 조건 하에서만 가능하다는 것을 발견했습니다. 시스템은 약 절반의 질문에 성공적으로 답했으며, 답변을 선택한 질문들에 대해서는 인간 전문가의 답변과 약 10번 중 7번꼴로 일치하는 결과를 보였습니다. 그러나 나머지 절반의 질문에 대해서는 답변을 거부했습니다. 이러한 거부의 이유는 지능의 부족이 아니라 증거의 부족 때문이었습니다. 시스템은 무언가가 존재한다는 증거를 찾는 데는 매우 뛰어났습니다. 만약 한 국가에 정책이나 웹사이트상의 기능이 있다면, 에이전트들은 그 문서를 찾아 인용할 수 있었습니다. 하지만 시스템은 무언가가 '없다'는 것을 묻는 질문에는 엄청나게 고전했습니다. 어떤 관행이 존재하지 않을 경우, "우리는 이것을 하지 않는다"라고 명시된 공개 문서는 흔치 않기 때문입니다. 에이전트들은 특정 관행이 없는 상태와, 단지 그 관행에 대한 증거를 공개하지 않은 상태를 구분할 수 없었습니다.
이러한 한계는 현재 평가 방식의 더 깊은 문제를 드러냈습니다. 연구진은 시스템의 정확도가 모든 국가에서 동일하지 않다는 것을 발견했습니다. 시스템은 이미 데이터를 가장 많이 공유하고 있는 국가들에서 최고의 성능을 보였습니다. 이 국가들은 풍부하고 상세한 웹사이트와 많은 공개 문서를 보유하고 있어, AI가 작업할 수 있는 자료를 충분히 제공했습니다. 반면 데이터 공유가 적은 국가들은 웹사이트와 문서가 적어 시스템이 가장 어려움을 겪었습니다. 실제로 시스템은 데이터 공유가 적은 국가들에 대해 매우 불확실해했으며, 답변을 거부하거나, 최악의 경우 관련 없는 정보를 증거로 착각하여 잘못된 추측을 하기도 했습니다. 이 연구는 국가가 더 개방적일수록 기계가 점수를 매기기 더 쉽다는 것을 보여주었으며, 이는 이미 잘하고 있는 국가들에게 시스템이 더 정확해지는 순환 구조를 만들었습니다.
연구진은 또한 '회의적인' 에이전트가 필요한지도 테스트했습니다. 그들은 검증자의 역할을 답변을 반박하는 것에서 답변을 확인하는 것으로 바꾸었습니다. 놀랍게도, 이 변화는 최종 점수에 거의 아무런 영향을 미치지 않았습니다. 시스템은 더 정확해지지도, 더 부정확해지지도 않았습니다. 여러 에이전트를 두는 것의 이점은 서로 상충하는 견해를 갖는 데서 오는 것이 아니라, 단순히 웹을 여러 번 검색하여 더 많은 증거를 수집한다는 점에 있었습니다. 에이전트 간의 논쟁은 핵심적인 문제를 해결하지 못했습니다. 즉, 인터넷에는 어떤 관행의 부재를 증명하는 데 필요한 증거가 애초에 존재하지 않는다는 점입니다.
결론적으로, 이 연구는 전체 설문지에 대해 완전 자동화된 평가를 수행하는 것은 아직 불가능하지만, 하이브리드 방식은 가능할 수 있음을 시사합니다. 연구진은 질문을 '내부적인 약속'이 아닌 '공개적인 증거'를 요구하는 방식으로 다시 작성할 것을 제 제안합니다. 정부 팀에 "검색어 모니터링을 수행합니까?"라고 묻는 대신, 새로운 질문은 "검색어 모니터링을 통해 무엇을 배웠는지에 대해 발표한 보고서를 제시하십시오"라고 묻는 식입니다. 이러한 전환은 증거가 공개된 웹상에 존재하도록 강제하여, 기계가 이를 검증할 수 있게 만듭니다. 여전히 내부 지식에 의존해야 하는 부분에 대해서는 인간 전문가가 계속 필요할 것입니다. 기계는 공개 문서를 통해 답할 수 있는 절반의 질문을 처리하고, 나머지는 인간의 검토 대상으로 분류할 수 있습니다. 이는 프로세스의 속도를 높일 뿐만 아니라, 평가를 더욱 정직하게 만들어, 국가의 점수가 단순히 주장하는 바가 아니라 실제로 발표한 내용에 근거하도록 보장할 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.