From Static Inference to Dynamic Interaction: Navigating the Landscape of Streaming Large Language Models

이 논문은 데이터 흐름과 동적 상호작용을 기반으로 스트리밍 LLM 에 대한 통합 정의를 제시하고 체계적인 분류 체계를 마련하여 기존 연구의 모호성을 해소하고, 관련 방법론과 실제 응용 사례를 분석하며 향후 연구 방향을 제시합니다.

핵심

🌊 정적 인에서 동적 상호작용으로: 스트리밍 LLM 의 세계를 항해하기

이 논문은 최근 인공지능 (LLM) 이 겪고 있는 **'대규모 변화'**를 설명합니다. 기존 AI 는 마치 책 한 권을 처음부터 끝까지 다 읽은 뒤 답변을 주는 '독서 클럽' 같았습니다. 하지만 현실 세계는 책이 아니라, 끊임없이 흘러가는 강물과 같습니다. 이 논리는 AI 가 어떻게 그 강물 속에서 실시간으로 듣고, 생각하며, 대답할 수 있게 되는지 (스트리밍 LLM) 에 대해 체계적으로 정리한 지도와 같습니다.

이 내용을 쉽게 이해할 수 있도록 세 가지 핵심 개념과 비유로 설명해 드릴겠습니다.

---

1. 왜 바꿀 필요가 있을까? (기존 AI 의 한계)

기존의 대형 언어 모델 (LLM) 은 **"한 번에 다 읽고, 그제야 답을 쓴다"**는 원칙을 따릅니다.

• 비유: 친구가 이야기를 시작하자마자 "잠깐만, 네가 다 말하고 끝난 뒤에 내가 대답할게"라고 말하는 상황입니다.
• 문제점: 현실 세계 (로봇, 실시간 통역, 대화형 비서) 는 그렇지 않습니다. 상대방이 말을 하는 도중에도 우리는 눈치를 보며 반응하고, 동시에 다른 일을 하기도 합니다. 기존 AI 는 이런 실시간 상호작용에 매우 서툴렀습니다.

2. 새로운 지도: 스트리밍 LLM 의 세 가지 단계

이 논문은 '스트리밍 LLM'을 단순히 '빠른 AI'가 아니라, 데이터가 흐르는 방식에 따라 세 가지 단계로 나누어 설명합니다. 마치 우주선이 지구에서 출발해 다른 행성으로 가는 과정처럼 생각해보세요.

🚀 1 단계: 출력 스트리밍 (Output-streaming)

• 상황: 입력 (질문) 은 다 받고, 답변만 하나씩 뱉어냅니다.
• 비유: 요리사가 모든 재료를 다 준비한 뒤, 접시에 요리를 하나씩 차곡차곡 담는 모습입니다.
• 핵심: "입력은 멈춤, 출력은 계속"입니다. 기존 AI 가 가장 잘하는 부분이지만, 입력이 들어오는 동안은 기다려야 합니다.

🚂 2 단계: 순차 스트리밍 (Sequential-streaming)

• 상황: 입력이 계속 들어오면서 (예: 긴 영상), 그 내용을 하나씩 기억해 나갑니다. 하지만 답변을 시작하려면 입력이 어느 정도 쌓여야 합니다.
• 비유: 기차가 역을 지나가며 승객을 태우지만, 모든 역을 지나고 나서야 목적지로 출발하는 모습입니다.
• 핵심: "입력은 계속, 출력은 잠시 대기". 긴 영상이나 대화를 실시간으로 이해하면서도 메모리 (기억) 를 효율적으로 관리하는 기술이 핵심입니다.

🤝 3 단계: 동시 스트리밍 (Concurrent-streaming) - 최고의 단계

• 상황: 입력을 듣는 동시에, 생각을 정리하고, 답변을 내뱉습니다.
• 비유: 재즈 밴드입니다. 한 명이 기타를 치는 동안 (입력), 다른 멤버는 그 리듬에 맞춰 즉흥적으로 노래를 부릅니다 (출력). 서로의 흐름을 끊지 않고 실시간으로 조화를 이룹니다.
• 핵심: "듣는 동시에 말하기 (Full-duplex)". 이것이 진정한 실시간 AI 의 꿈입니다. 하지만 입력과 출력이 섞이면서 생기는 '혼란' (누가 언제 무엇을 말했는지) 을 해결하는 기술이 필요합니다.

---

3. 이 기술이 실제로 어디에 쓰일까?

이 세 가지 기술을 활용하면 우리 삶이 어떻게 변할까요?

• 실시간 통역: 외국인이 말을 하는 도중에도 AI 가 즉시 번역해서 들리게 해줍니다. (동시 스트리밍)
• 로봇 비서: 로봇이 공장을 돌아다니며 (입력), 동시에 위험을 감지하고 사용자에게 경고하며 (출력), 또 다른 기계를 제어할 수 있습니다.
• 생생한 대화: "잠깐만, 내가 생각 중이야"라고 말하며 잠시 멈추거나, "아, 그건 나중에 말해줘"라고 요청하는 자연스러운 대화체가 가능해집니다.

4. 앞으로의 과제 (미해결 문제)

이론은 완벽하지만, 실제 구현에는 아직 넘어야 할 산이 있습니다.

• 속도 vs 정확도: 너무 빨리 말하면 실수가 생길 수 있고, 너무 정확히 하려면 시간이 걸립니다. 이 저울을 어떻게 맞추느냐가 관건입니다.
• 기억의 한계: 강물이 계속 흐르는데, AI 가 모든 것을 기억할 수는 없습니다. 중요한 것만 기억하고 나머지는 잊는 기술이 필요합니다.
• 해석의 어려움: AI 가 왜 지금 말을 멈추고, 왜 지금 대답을 했는지 그 이유를 사람이 이해할 수 있게 만들어야 합니다.

📝 요약: 이 논문의 핵심 메시지

이 논문은 **"AI 를 책상 위의 독서 클럽에서, 현실 세계의 강물 속으로 데려오자"**고 주장합니다.

1. 정의: '스트리밍'이 무엇인지 명확히 구분했습니다 (출력만 빠른 것 vs 입력/출력 모두 실시간인 것).
2. 분류: 현재 기술 수준을 3 단계 (출력 중심, 순차적, 동시적) 로 정리했습니다.
3. 미래: 진정한 실시간 상호작용 AI를 만들기 위해 우리가 풀어야 할 기술적 난제들과 미래 방향을 제시했습니다.

결국 이 논문은 AI 가 더 이상 지시만 기다리는 기계가 아니라, 우리 삶 속에서 함께 흐르고 반응하는 살아있는 파트너가 되기 위한 청사진을 제시한 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 대규모 언어 모델 (LLM) 은 주로 정적 (Static) 인 추론을 위해 설계되었습니다. 즉, 전체 입력 컨텍스트가 미리 정의되어 제공된 후 일괄 처리 (Batch Processing) 방식으로 출력을 생성하는 '한 번에 읽기 (Read-at-once)' 가정을 따릅니다.

하지만 실제 세계의 응용 분야 (실시간 번역, 대화형 어시스턴트, 로봇 제어, 센서 데이터 처리 등) 는 다음과 같은 동적 특성을 가집니다:

• 연속적이고 동적인 입력: 음성, 비디오, 센서 신호 등이 실시간으로 유입되며 여러 스트림이 동시에 발생합니다.
• 부분적 정보와 실시간 반응: 시스템은 입력이 완전히 도착하기 전에 출력을 생성하거나, 입력과 출력을 동시에 처리 (Full-duplex) 하여 즉각적인 상호작용이 필요합니다.
• 용어의 혼란: 기존 연구들은 '스트리밍 생성 (Streaming Generation)', '스트리밍 입력 처리 (Streaming Input)', '상호작용형 스트리밍 아키텍처 (Interactive Streaming)'를 구분하지 않고 '스트리밍 LLM'이라는 단일 용어로 혼용하여, 명확한 비교와 체계적인 발전 방향을 제시하기 어렵게 만들었습니다.

이러한 격차를 해소하고, 정적 LLM 을 동적 실시간 환경에 적응시키기 위한 체계적인 분류와 분석이 필요했습니다.

2. 방법론 및 분류 체계 (Methodology & Taxonomy)

저자들은 데이터 흐름 (Data Flow) 과 상호작용의 동시성 (Interaction Concurrency) 을 기반으로 스트리밍 LLM 을 세 가지 명확한 범주로 체계화했습니다. 이는 기술적 난이도와 기능적 요구사항이 점진적으로 증가하는 계층 구조를 이룹니다.

A. 출력 스트리밍 LLM (Output-streaming LLMs)

• 특징: 정적 입력을 먼저 모두 처리한 후, 출력만 스트리밍으로 생성합니다.
• 핵심 기술:
  • 생성 메커니즘: 토큰 단위 (Token-wise), 블록 단위 (Block-wise), 정제 기반 (Refinement-based) 생성 방식.
  • 효율성: 지연 시간 (Latency) 감소를 위한 디코딩 경로 가속 (Speculative Decoding 등) 및 메모리 효율성 (KV Cache 압축) 기술.
• 예시: GPT, LlamaGen, VideoPoet 등.

B. 순차적 스트리밍 LLM (Sequential-streaming LLMs)

• 특징: 동적인 입력 스트림을 점진적으로 처리하지만, 생성은 고정된 입력 (또는 누적된 컨텍스트) 을 기반으로 수행합니다. 입력이 계속 유입될 때 재계산을 피하고 컨텍스트를 관리하는 것이 핵심입니다.
• 핵심 기술:
  • 증분 인코딩 (Incremental Encoding): 미래 정보를 참조하지 않고 현재까지의 입력만 기반으로 토큰/블록을 인코딩 (원자적 인코딩 vs 분할 인코딩).
  • 스트리밍 컨텍스트 관리: 긴 입력 스트림을 처리하기 위한 메모리 유지 (Salient content selection), KV 캐시 및 어텐션 관리 (Eviction, Compression).
• 예시: 긴 비디오 이해, 실시간 음성 인식 (ASR).

C. 동시 스트리밍 LLM (Concurrent-streaming LLMs)

• 특징: 입력 수신과 출력 생성이 동시에 (Full-duplex) 이루어지는 가장 복잡한 형태입니다. 실시간 상호작용을 위해 입력과 출력이 교차하며 처리됩니다.
• 핵심 기술:
  • 아키텍처 적응 (Architecture Adaptation): 동시 처리 시 발생하는 구조적 충돌 (Attention Contention, Position-ID Conflict) 을 해결하기 위한 설계.
    • Re-encoded: 새로운 입력 시 전체 캐시 재인코딩.
    • Concatenated: 입력과 출력을 연결하여 처리.
    • Interleaved: 시간 순서대로 입력/출력 토큰을 교차 배치.
    • Grouped: 입력과 출력을 별도의 그룹으로 분리하여 독립적인 어텐션/위치 인코딩 적용.
  • 상호작용 정책 (Interaction Policy): 언제 읽을지 (Read) 언제 쓸지 (Write) 결정하는 전략.
    • Rule-based: 고정된 지연 (Wait-k) 또는 임계값 기반.
    • SFT-based: 지도 학습을 통해 최적의 타이밍 학습.
    • RL-based: 강화 학습을 통해 지연과 품질의 균형을 최적화.
• 예시: 실시간 동시 통역, 대화형 로봇, 실시간 비디오 설명.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 조사: 스트리밍 LLM 분야에 대한 최초의 포괄적인 리뷰를 제공했습니다.
2. 통합 정의 및 분류: 기존에 모호하게 사용되던 '스트리밍' 개념을 데이터 흐름과 상호작용 동시성에 기반하여 Output-streaming, Sequential-streaming, Concurrent-streaming으로 명확히 정의하고 분류했습니다.
3. 기술적 심층 분석: 각 범주별 핵심 메커니즘 (생성, 인코딩, 컨텍스트 관리, 아키텍처 적응, 상호작용 정책) 을 상세히 분석하고 관련 논문들을 체계적으로 정리했습니다.
4. 응용 및 미래 방향 제시: 실시간 번역, 비디오 이해, 도구 사용 에이전트 등 실제 응용 사례를 소개하고, 효율성, 새로운 아키텍처, 해석 가능성, 다중 모달 확장 등의 미래 연구 방향을 제시했습니다.
5. 지속 업데이트 리포지토리: 관련 논문 목록을 GitHub (EIT-NLP/Awesome-Streaming-LLMs) 에서 지속적으로 업데이트하여 연구 커뮤니티에 기여합니다.

4. 결과 및 논의 (Results & Discussion)

• 기술적 진화: 스트리밍 LLM 은 단순한 출력 가속 (Output-streaming) 에서 시작하여, 긴 입력 처리 (Sequential-streaming) 를 거쳐, 완전한 실시간 상호작용 (Concurrent-streaming) 으로 진화하고 있음을 확인했습니다.
• 핵심 과제:
  • 지연 시간 vs 성능: 실시간 응답을 위해 얼마나 많은 정보를 기다려야 하는지에 대한 트레이드오프 관리.
  • 메모리 및 계산 효율성: 무한한 입력 스트림을 처리하기 위한 KV 캐시 관리 및 인코딩 최적화.
  • 구조적 충돌 해결: 입력과 출력이 동시에 발생할 때 발생하는 어텐션 의존성 및 위치 인코딩 충돌 문제 해결.
• 응용 분야: 실시간 번역, 음성-텍스트 상호작용, 실시간 비디오 이해, 자율 에이전트 (Tool usage) 등 다양한 분야에서 스트리밍 LLM 의 필요성이 입증되었습니다.

5. 의의 (Significance)

이 논문은 스트리밍 LLM 연구 분야에 개념적 토대와 로드맵을 제공합니다.

• 연구의 명확화: 혼란스러웠던 용어와 범주를 정리하여 연구자들이 자신의 작업이 어떤 단계에 위치하는지 명확히 파악할 수 있게 했습니다.
• 실용적 가치: 정적 LLM 을 실제 세계의 동적 환경 (로봇, 실시간 통신, 인터랙티브 AI) 에 적용하기 위한 필수적인 기술적 통찰을 제공합니다.
• 미래 지향성: 단순한 텍스트 생성을 넘어, 다중 모달 (Multimodal) 과 실시간 추론이 결합된 '지능형 스트리밍 시스템'으로의 발전을 위한 방향성을 제시합니다.

결론적으로, 이 논문은 LLM 이 정적 데이터 처리에서 동적 상호작용으로 패러다임을 전환하는 과정에서 필수적인 기술적 요소들을 체계적으로 정리한 중요한 가이드라인입니다.