Graph Property Inference in Small Language Models: Effects of Representation and Inference Strategy

이 논문은 소규모 언어 모델의 그래프 속성 추론 성능이 모델의 규모뿐만 아니라 이웃 구조를 보존하는 입력 표현 방식과 다중 분기 추론 전략과 같은 구조적 조직화 및 추론 설계에 크게 의존한다는 것을 체계적으로 규명했습니다.

Michal Podstawski

게시일 2026-03-10
📖 3 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

🎨 핵심 비유: "지도 읽기"와 "길 찾기"

상상해 보세요. 인공지능은 지도 없이 길을 찾아야 하는 여행객입니다. 그리고 그 여행객에게 주어진 정보는 두 가지 방식 중 하나로 제공됩니다.

  1. 인접 리스트 (Adjacency List): "A 마을에는 B, C, D 마을이 바로 연결되어 있어"라고 동네별로 정리된 명단을 주는 방식.
  2. 엣지 리스트 (Edge List): "A-B 연결됨, C-D 연결됨, E-F 연결됨..."처럼 연결된 선 하나하나를 나열한 장부를 주는 방식.

연구진은 이 두 가지 방식과, 여행객이 길을 찾을 때 사용하는 **생각의 방법 (추론 전략)**을 바꿔가며 실험을 했습니다.


🔍 연구의 주요 발견 (3 가지 핵심 교훈)

1. 정보의 정렬 방식이 중요해요 (Representation)

  • 비유: 만약 친구들의 연락처를 받을 때, "친구 A 는 B, C 와 친하고, 친구 D 는 E 와 친하다"라고 사람별로 묶어서 주는 게 좋을까요? 아니면 "A 와 B 는 친구, C 와 D 는 친구..."라고 연결고리만 나열해서 주는 게 좋을까요?
  • 결과: 인공지능은 **사람별로 묶어주는 방식 (인접 리스트)**을 훨씬 더 잘 이해했습니다.
    • 작은 인공지능은 정보가 흩어져 있으면 (엣지 리스트) 혼란을 겪고 실수를 많이 했지만, 정보가 잘 정리되어 있으면 (인접 리스트) 훨씬 더 정확한 답을 냈습니다. 마치 우리가 전화번호부를 '이름순'으로 정리해 두면 찾는 게 훨씬 빠르듯이 말이죠.

2. 혼자 생각하기보다 '여러 번 시도'하는 게 좋아요 (Inference Strategy)

  • 비유: 어려운 문제를 풀 때, 한 번에 바로 답을 말하기보다 (Direct), 생각의 과정을 말로 풀어내는 것 (CoT), 혹은 여러 가지 다른 접근법을 시도해 보고 그중 가장 합리적인 답을 고르는 것 (GoT) 중 무엇이 더 나을까요?
  • 결과: **여러 가지 시도를 해보고 결론을 내리는 방식 (Graph-of-Thoughts, GoT)**이 가장 효과적이었습니다.
    • 작은 인공지능은 한 번의 생각으로는 복잡한 구조를 파악하기 어렵지만, 여러 번의 '가상 시나리오'를 만들어 보고 그중 가장 일관된 답을 골라내면 정확도가 크게 올라갔습니다. 이는 "여러 명이 모여서 토론하면 한 사람이 혼자 생각하는 것보다 더 좋은 결론이 나온다"는 말과 비슷합니다.

3. 절대적인 숫자보다는 '순서'를 잘 기억해요

  • 비유: "이 마을의 인구가 1,234 명이다"라고 정확한 숫자를 맞추는 건 어렵지만, "A 마을이 B 마을보다 인구가 더 많다"는 순서를 맞추는 건 상대적으로 잘합니다.
  • 결과: 작은 인공지능은 복잡한 그래프의 정확한 수치를 맞추는 데는 약점이 있지만, "어떤 구조가 더 복잡하다", "어떤 연결이 더 긴가" 같은 상대적인 순서나 크기 비교는 꽤 잘해냈습니다. 즉, 정확한 계산기 역할보다는 '개념을 이해하는 역할'을 잘 수행하는 것입니다.

💡 이 연구가 우리에게 주는 메시지

이 논문은 **"작은 인공지능도 똑똑해질 수 있다"**는 희망을 줍니다. 다만, 중요한 건 모델의 크기 (두뇌 크기) 만이 전부가 아니다는 점입니다.

  1. **정보를 어떻게 전달하느냐 (정리된 명단 vs 산만한 장부)**가 성능을 좌우합니다.
  2. **어떻게 생각하게 하느냐 (한 번에 답 vs 여러 번 시도)**도 중요합니다.

작은 인공지능을 사용할 때, 우리가 입력하는 데이터의 형식을 잘 정리하고, 여러 번의 추론을 거치게 유도하면, 비싼 대형 모델 못지않게 복잡한 구조를 잘 이해하게 만들 수 있다는 것이 이 연구의 결론입니다.

한 줄 요약:

"작은 인공지능에게 복잡한 그림을 보여줄 때는, 정보를 동네별로 정리해서 주고, 여러 번 생각하게 하면 훨씬 똑똑하게 답을 찾아낸다는 사실!"