HELIOS: Harmonizing Early Fusion, Late Fusion, and LLM Reasoning for Multi-Granular Table-Text Retrieval

이 논문은 기존 조기 및 후기 융합 방식의 한계를 극복하기 위해, 에지 기반 이분 부분 그래프 검색, 쿼리 관련 노드 확장, 그리고 별 그래프 수준의 LLM 추론을 결합한 HELIOS 모델을 제안하여 OTT-QA 벤치마크에서 기존 최첨단 모델 대비 현저히 우수한 성능을 달성했다고 요약할 수 있습니다.

Sungho Park, Joohyung Yun, Jongwuk Lee, Wook-Shin Han

게시일 2026-03-04
📖 3 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **'헬리오스 (HELIOS)'**라는 새로운 인공지능 시스템을 소개합니다. 헬리오스는 우리가 인터넷에서 질문을 했을 때, **정리된 표 (Table)**와 **글로 쓰인 문서 (Text)**를 모두 잘 찾아서 정답을 찾아내는 일을 돕습니다.

기존의 방법들은 두 가지 큰 단점이 있었는데요, 헬리오스는 이 두 가지를 모두 해결하고 더 똑똑하게 만들었습니다.

🌟 헬리오스가 해결한 두 가지 문제

  1. 너무 넓은 그물 (Early Fusion의 문제):

    • 비유: 질문을 할 때, 관련 있는 책 한 권만 찾는 게 아니라, 책 한 권 전체를 통째로 가져와서 읽으려다 보니 관련 없는 내용까지 섞여서 정답을 찾기 힘들어지는 상황입니다.
    • 기존 방식: 표의 한 줄과 관련된 글들을 미리 묶어두는데, 질문과 상관없는 글까지 함께 묶여 오기 때문에 정답을 가립니다.
  2. 너무 좁은 그물 (Late Fusion의 문제):

    • 비유: 질문의 키워드만 딱 맞춰서 조각난 단편 정보만 찾아오는데, 정답을 알기 위해 필요한 **다른 조각 (연결고리)**이 빠져버리는 상황입니다.
    • 기존 방식: 질문과 비슷한 단어만 찾아오다 보니, 논리적으로 연결되어야 할 중요한 정보가 누락됩니다.

🚀 헬리오스의 3 단계 마법 (어떻게 작동할까요?)

헬리오스는 이 두 가지 단점을 없애기 위해 세 가지 단계로 정보를 찾아냅니다.

1 단계: 정교한 '연결고리' 찾기 (Edge-based Retrieval)

  • 비유: 기존에는 '책 한 권'이나 '한 장'을 통째로 찾았다면, 헬리오스는 **'책의 특정 문장과 그 문장을 설명하는 그림 사이의 연결선'**을 찾아냅니다.
  • 효과: 불필요한 정보 (잡음) 를 걸러내고, 질문과 정말 밀접하게 관련된 **작은 조각들 (연결선)**만 먼저 모읍니다. 이렇게 하면 정답이 섞여 있는 중요한 정보를 놓치지 않습니다.

2 단계: 필요한 조각을 더 모으기 (Query-relevant Node Expansion)

  • 비유: 처음에 찾은 조각들이 정답을 말해주기엔 부족할 수 있죠? 헬리오스는 **"이 조각을 보면, 저쪽 구석에 있는 다른 조각도 필요할 것 같아!"**라고 생각하며 주변을 더 찾아봅니다.
  • 효과: 질문의 맥락에 맞춰서 처음에는 보이지 않았던 중요한 정보들을 동적으로 추가합니다. 그래서 'A 를 알기 위해서는 B 와 C 를 먼저 알아야 한다'는 복잡한 질문에도 대응할 수 있습니다.

3 단계: AI 의 '논리적 추론' (Star-based LLM Refinement)

  • 비유: 이제 찾은 정보들이 산더미처럼 쌓여 있습니다. 여기서 **대장 (LLM, 거대 언어 모델)**이 등장합니다. 대장은 이 정보들을 보고 "아, 이 표의 숫자들을 더해야 답이 나오네!" 혹은 **"이 글은 질문과 상관없으니 버려야겠다"**라고 논리적으로 판단합니다.
  • 효과: 단순히 단어만 비슷한 게 아니라, 수학 계산이나 여러 단계를 거치는 추론이 필요한 질문도 정답을 찾아냅니다.

🏆 왜 헬리오스가 특별한가요?

기존의 시스템들은 단순히 '비슷한 단어'를 찾는 데 그쳤다면, 헬리오스는 정보의 연결고리를 찾아내고, 필요한 정보를 확장하며, 마지막에 AI 가 논리적으로 결론을 내립니다.

  • 결과: 실험 결과, 헬리오스는 기존 최고 성능 모델들보다 정답을 찾아내는 능력 (Recall) 이 40% 이상, 정답의 순위를 매기는 능력 (nDCG) 이 40% 가까이 뛰어났습니다.
  • 한 줄 요약: 헬리오스는 표와 글을 섞어서 찾는 일을 할 때, 너무 넓게 잡지도 않고, 너무 좁게 보지도 않으며, 마지막에 AI 가 똑똑하게 판단해서 정답을 찾아내는 완벽한 탐정입니다.

이제 여러분도 헬리오스처럼, 복잡한 정보 속에서 정답을 찾아내는 '초능력'을 가진 시스템을 상상해 보세요! 🕵️‍♂️📊📝