거대한 도서관에 들어섰다고 상상해 보세요. 그곳은 수천 명의 사람들이 세상을 어떻게 운영할지에 대해 거대한, 혼란스러운 토론을 벌이고 있는 시끄러운 곳입니다. 이 도서관은 평범한 도서관이 아닙니다. 바로 이탈리아 의회로, 선출된 대표들이 법, 정의, 그리고 국가의 미래를 두고 논쟁하는 곳입니다. 문제는 이 도서관이 너무나 방대하고 논쟁이 여러 방과 여러 날에 걸쳐 흩어져 있어서, 일반인이 특정 주제에 대해 모든 사람이 실제로 무엇을 생각하는지 파악하는 것이 거의 불가능하다는 점입니다. 만약 당신이 초지능 로봇에게 "토론을 요약해 줘"라고 요청한다면, 그 로봇은 혼란에 빠질 수 있습니다. 로봇은 가장 큰 목소리를 내는 사람의 말만 듣거나, 조용한 전문가를 무시하거나, 혹은 일어나지도 않은 말을 인용하며 실수로 가짜 인용구를 만들어낼 수도 있습니다. 이것이 바로 '검색 증강 생성(Retrieval-Augmented Generation, RAG)'이라는 기술이 직면한 과제입니다. RAG는 질문에 답하기 위해 먼저 많은 문서를 읽어보는 방식의 AI 유형입니다. 핵심적인 질문은 이것입니다: 어떻게 하면 AI가 단순히 가장 큰 목소리를 내는 사람을 선택하는 것이 아니라, 누가 어떤 분야의 전문가인지 실제로 이해하고, 사실을 왜곡하지 않고 진실만을 말하게 할 수 있을까요?

이 논문은 이탈리아 하원의 문제를 해결하기 위해 특별히 설계된 ParliamentRAG라는 새로운 시스템을 소개합니다. ParliamentRAG를 단순한 요약 도구가 아니라, 첫 번째로 찾은 답변을 소리 높여 외치지 않는 매우 조직적이고 공정한 마음을 가진 사서라고 생각해보세요. 대신, 이 사서는 모든 정치인을 그들의 직업, 교육 배경, 그리고 그들이 통과시킨 법률과 연결하는 특별한 지도(지식 그래프, Knowledge Graph)를 가지고 있습니다. 당신이 "정의 개혁에 대해 각 정치 집단은 어떻게 생각하는가?"와 같은 질문을 던지면, 이 시스템은 단순히 가장 흔하게 등장하는 연설을 가져오지 않습니다. 대신, 이 시스템은 해당 주제에 대한 실제 전문가가 누구인지 먼저 파악하여, 비록 다른 사람들만큼 자주 발언하지 않더라도 모든 정치 집단의 목소리가 공정하게 반영되도록 보장합니다.

연구진은 이 시스템이 다른 AI 도구들이 흔히 실수하는 두 가지 측면에서 매우 뛰어나다는 것을 발견했습니다. 첫째, 이 시스템은 절대로 인용구를 지어내지 않습니다. 시스템이 어떤 정치인이 무언가를 말했다고 언급한다면, 그것은 100% 공식 기록의 단어 하나하나까지 일치하는 완벽한 복사본임을 보장합니다. 둘째, 이 시스템은 거의 모든 정치 집단의 의견을 포함하도록 보장하는데(97%), 연구진이 테스트한 한 대중적인 상용 AI 도구(Google NotebookLM)는 약 5%의 경우에서 일부 집단을 놓쳤습니다. 상용 도구가 조금 더 매끄럽고 "다듬어진" 문장을 작성했지만, 테스트에 참여한 전문가들은 출처를 정확히 찾고 정치적 균형이 공정하게 느껴지는 측면에서 ParliamentRAG를 더 선호했습니다. 저자들은 AI가 글을 쓰는 데에는 뛰어날 수 있지만, 복잡한 정치적 토론을 다룰 때는 진정으로 신뢰받기 위해 이러한 종류의 "권위 인식(authority-aware)" 구조가 필요하다고 제안합니다.

핵심 아이디어: 왜 "무엇"만큼이나 "누구"가 중요한가

ParliamentRAG가 왜 특별한지 이해하려면, AI가 정치 토론을 읽을 때 보통 빠지는 세 가지 함정을 이해해야 합니다.

1. "유명한 수다쟁이(Loudmouth)" 함정: AI는 종종 가장 많이 말하는 사람이 가장 중요하다고 생각합니다. 하지만 정치에서는 의료 분야의 조용한 전문가가 모든 것에 대해 떠드는 시끄러운 정치인보다 더 많이 알 수도 있습니다.
2. "평면화(Flattening)" 함정: AI는 종 often 모든 사람의 의견을 동등하게 취급하며, 어떤 사람들이 특정 주제에 대한 실제 전문가인지 아니면 그저 짧은 의견을 낸 것인지를 무시합니다.
3. "환각(Hallucination)" 함정: AI는 때때로 인용구를 발명하거나 잘못 인용하기도 하는데, 이는 법률과 정부 활동을 다룰 때 매우 위험합니다.

ParliamentRAG는 **지식 그래프(Knowledge Graph)**를 사용하여 이를 해결합니다. 모든 노드가 사람, 법률 또는 연설이며, 이들을 연결하는 선들이 그 관계를 보여주는 거대한 거미줄을 상상해 보세요. 이 거미줄은 "로시 의원"이 "사법 위원회"의 구성원이며, "법학" 학위를 가지고 있고, 작년에 특정 법안에 서명했다는 사실을 알고 있습니다. 질문을 던지면, 시스템은 단순히 키워드를 찾는 것이 아니라 이 거미줄을 살펴보고 **"권위 점수(Authority Score)"**를 계산합니다. 시스템은 다음과 같이 묻습니다: "이 사람은 지금 이 특정 주제에 대한 전문가인가?" 시스템은 그들의 교육, 직업, 그리고 최근 활동을 종합하여 누구의 목소리를 들을지 결정합니다.

시스템 작동 방식: 4단계의 댄스

이 시스템은 네 가지 뚜렷한 단계를 거치는 매우 효율적인 뉴스룸처럼 작동합니다.

1. 이중 채널 검색 (The Dual-Channel Search): 질문을 던지면 시스템은 동시에 두 개의 검색 엔진을 사용합니다. 하나는 질문과 유사한 느낌의 연설을 찾고(의미론적 검색), 다른 하나는 거미줄(그래프)을 살펴보고 법안에 서명하거나 위원회에서 활동하는 등 해당 주제에 대해 실제로 업적을 쌓은 사람들을 찾습니다. 이를 통해 관련 단어와 관련 전문가를 모두 확보합니다.
2. 권위 점수 (The Authority Score): 잠재적인 연설 목록을 확보하면, 시스템은 모든 화자에 대해 점수를 계산합니다. 이 점수는 그들의 배경(교육, 직업)과 최근 활동(서명한 법안 수, 행한 연설 횟수)을 결합합니다. 결정적으로, 이 점수는 질문에 따라 변합니다. 어떤 화자는 "이민"에 대해서는 권위가 있을 수 있지만 "경제"에 대해서는 그렇지 않을 수 있습니다.
3. 다각적 관점 선택 (The Multi-View Selection): 시스템은 10개의 각 정치 집단에서 최고의 전문가를 한 명씩 뽑습니다. 이는 최종 답변이 단편적인 이야기가 되지 않도록 보장하며, 다양한 관점의 합창이 되도록 합니다.
4. "군더더기 없는" 생성 (The "No-Fluff" Generation): 이것이 가장 독특한 부분입니다. AI가 요약을 작성할 때, 스스로 인용구를 직접 쓰지 않습니다. 대신 [연설 #45에서의 인용구]와 같은 자리 표시자를 작성합니다. 그런 다음, 별도의 단계에서 원래의 공식 녹취록으로 돌아가 해당 연설의 정확한 단어를 그 자리에 붙여넣습니다. 즉, 이 시스템은 말 그대로 무엇이 말해졌는지에 대해 거짓말을 할 수 없게 설계되었습니다.

결과: 유창함보다 공정성

연구진은 15가지 정치적 주제를 사용하여 ParliamentRG를 강력한 상용 AI인 Google NotebookLM과 비교 테스트했습니다. 6명의 전문가(기자 및 정책 분석가)에게 결과를 평가하도록 했습니다.

결과는 다음과 같습니다:

• 완벽한 진실성: ParliamentRAG는 "인용구 충실도(Quotation Faithfulness)"에서 1.00 점을 기록했습니다. 이는 모든 인용구가 원문과 완벽하게 일치함을 의미합니다. NotebookLM은 0.95를 기록했는데, 이는 약 5%의 인용구가 약간 어긋나거나 의역되었음을 뜻합니다.
• 더 나은 범위 확보: ParliamentRAG는 정치 집단의 **97%**를 포함한 반면, NotebookLM은 **95%**만을 포함했습니다.
• 전문가 선호도: 인간 전문가들에게 어떤 시스템을 선호하는지 물었을 때, 그들은 "출처 범위(Source Coverage)"(25% 대 5%)와 "출처 권위(Source Authority)" 측면에서 ParliamentRAG를 더 많이 선택했습니다. 전문가들은 ParliamentRAG가 적절한 전문가를 찾고 다양한 정치적 견해의 균형을 맞추는 데 더 뛰어난 능력을 보였다고 평가했습니다.
• 트레이드오프 (Trade-off): NotebookLM은 "답변 품질"과 "명료성"에서 승리했습니다. 문장이 더 매끄럽고 다듬어진 에세이처럼 들렸습니다. 그러나 전문가들은 NotebookLM이 더 보기 좋게 들릴 수는 있어도, ParliamentRG가 더 신뢰할 수 있고 균형 잡혀 있다고 언급했습니다.

이것이 의미하는 바

이 논문은 정부 토론을 분석하는 것과 같은 진지한 과업을 수행할 때, 단순히 "듣기 좋은 것"만으로는 충분하지 않다는 점을 시사합니다. 공정하도록 구조적으로 설계된 시스템이 필요합니다. 저자들은 AI에게 단순히 "공정하게 행동하라"고 명령하는 것만으로는 부족하며, ParliamentRAG가 권위 점수와 엄격한 출처 확인을 통해 했던 것처럼 공정성을 시스템의 구조 안에 구축해야 한다고 주장합니다.

비록 이 연구가 15가지 주제로 제한되었고 모든 가능한 시나리오를 테스트하지는 못했지만, 결과는 "권위 인식" 층위와 엄격한 출처 추적을 추가하는 것이 AI를 훨씬 더 신뢰할 수 있게 만든다는 점을 강력하게 시사합니다. 저자들은 자신들의 시스템이 일반적인 만족도 면에서는 최고 수준의 상용 도구들과 대등한 성능을 보이면서도, 민주주의에 가장 중요한 차원인 균형, 정확성, 그리고 실제로 누가 말하고 있는지를 파악하는 능력에서는 그들을 크게 앞선다고 결론지었습니다.