Audio-Visual Speech Enhancement: Architectural Design and Deployment Strategies

1. 문제 정의 (Problem Definition)

• 배경: 실제 환경에서 포착된 음성 신호는 배경 잡음, 반향, 경쟁 화자 등으로 인해 심하게 열화되어 가청성과 품질이 저하됩니다. 기존 오디오 전용 음성 향상 기술은 저신호대잡음비 (Low-SNR) 환경이나 중첩된 화자가 있는 경우 청각적 단서만으로는 정보를 제한적으로 활용하여 성능이 떨어집니다.
• 핵심 과제: 인간은 입 모양과 얼굴 표정 같은 시각적 단서를 활용하여 잡음 속의 음성을 구별합니다. 이를 활용한 시각 - 청각 음성 향상 (AVSE) 시스템은 이러한 다중 모달 (Multimodal) 정보를 융합하여 성능을 극대화할 수 있습니다.
• 배포 장벽: AVSE 를 실시간으로 구현하기 위해서는 고사양 딥러닝 추론이 필요하지만, 웨어러블 기기나 모바일 기기는 전력, 연산 능력, 대역폭의 제약이 있습니다. 이를 해결하기 위해 클라우드/엣지로 연산을 오프로딩하는 방식이 제안되지만, 네트워크 지연 (Latency), 지터 (Jitter), 상향 링크 (Uplink) 대역폭 부족으로 인해 실시간 동기화와 사용자 경험 (QoE) 이 저하될 수 있습니다.
• 연구 목표: 공개된 5G 엣지 클라우드 환경에서 실시간 AVSE 시스템의 설계, 배포, 그리고 성능을 평가하여 지연 민감형 멀티미디어 서비스의 실용적 가이드라인을 제시하는 것.

2. 방법론 (Methodology)

• 시스템 아키텍처:
  • 클라이언트 (웨어러블/모바일): 오디오와 입 영역 비디오를 수집하여 5G 상향 링크를 통해 엣지 서버로 전송.
  • 엣지 서버 (AWS Wavelength): Vodafone 5G 네트워크에 통합된 AWS 엣지 클라우드에서 연산 수행.
  • 모델 구조:
    1. 오디오 스트림: CNN 기반의 음향 특징 추출기.
    2. 비디오 스트림: OpenCV 기반 얼굴/입술 특징 추출기 (Haar 분류기 및 CNN).
    3. 융합 (Fusion): 추출된 특징을 연결 (Concatenation) 하고, LSTM(Long Short-Term Memory) 네트워크를 통해 시간적 일관성 (Temporal Coherence) 을 유지하며 융합.
    4. 출력: 완전 연결 (FC) 레이어를 통해 향상된 음성 재구성.
• 배포 전략:
  • 버퍼링 및 병렬 처리: 처리 지연이 오디오 길이를 초과할 경우를 대비해 입력/출력 버퍼를 사용하여 동기화된 피드백 제공.
  • 스트레스 적응형 멀티미디어 프로파일: 네트워크 상태에 따라 비디오 프레임 속도, 해상도, JPEG 압축률, 오디오 프레임 크기를 동적으로 조절하는 다양한 프로파일 (Low-bandwidth ~ Stress-test) 정의.
  • 압축 전략: 대역폭 제약 시 원본 데이터 (약 0.3MB) 를 압축하여 전송량 감소 (최대 80 배 감소) 및 지연 시간 단축.

3. 주요 기여 (Key Contributions)

1. 실제 5G 엣지 클라우드 환경에서의 AVSE 배포 및 평가: 모델 중심의 프로토타입을 넘어, 공개된 5G 네트워크 (Vodafone) 와 AWS Wavelength 엣지 클라우드를 활용한 엔드 - 투 - 엔드 시스템 구현 및 평가.
2. 스트레스 적응형 멀티미디어 프로파일 도입: 다양한 네트워크 조건 (Ethernet, Wi-Fi, 4G, 5G) 에서 처리량, 지연, 품질 간의 트레이드오프를 체계적으로 분석하기 위한 프로파일 설계.
3. 실제 환경의 네트워크 및 시스템 성능 정량화: 상향 링크 처리량, 왕복 시간 (RTT), 패킷 손실, 컴퓨팅 자원 사용률 등을 측정하여 공개 5G 환경의 실시간 운영 한계를 규명.
4. 설계 가이드라인 도출: 엣지 근접성 (Edge Proximity), 적응형 프로파일, 다중 모달 동기화가 실시간 QoE 에 미치는 영향에 대한 실용적 인사이트 제공.

4. 실험 결과 (Experimental Results)

• 네트워크 지연 및 대역폭:
  • 성공 조건: 유선 이더넷 (Ethernet) 과 5G (개인망 및 공개망) 만이 40ms 의 청크 (Chunk) 길이를 만족하는 지연 ($t_{comm} \le t_{chunk}$) 을 제공하여 일관된 서비스 경험을 가능하게 함.
  • 실패 조건: Wi-Fi 4(802.11n) 와 4G 는 지연이 50~150ms 로 불안정하여 실시간 상호작용에 부적합.
  • 압축의 효과: 80 배 압축 시 데이터 크기를 약 70KB 로 줄였으며, 화질 저하 없이 대역폭 제약을 극복하고 안정적인 스트리밍 가능.
• 엣지 클라우드 성능 (AWS Wavelength over Vodafone 5G):
  • 지연: 평균 RTT 는 54~73ms 수준으로, 실시간 AVSE 에 허용 가능한 수준 (단, 마진 감소).
  • 처리량: 부하가 증가함에 따라 처리량이 선형적으로 증가했으나, 극심한 스트레스 프로파일 (AV Stress) 에서 패킷 손실과 지연 증가 발생.
  • CPU 사용률: 오디오 전용은 5%, 고부하 AV 프로파일은 21% 수준으로 예측 가능한 자원 소모.
• 알고리즘 처리 지연과 품질의 트레이드오프:
  • 입력 청크 길이: 긴 입력 (예: 10 초) 은 잡음 제거 및 화자 분리 성능이 우수하지만 처리 지연이 큼. 짧은 입력 (프레임 단위) 은 지연은 줄지만 저신호대잡음비 환경에서 성능이 급격히 저하됨.
  • 모델 복잡도: 모델 파라미터를 줄이고 경량화하면 처리 시간이 1.2 초에서 0.35 초로 단축되지만, 저음역대 음성 성분 재구성 품질이 떨어짐.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 인사이트:
  • 엣지 근접성의 중요성: 실시간 AVSE 의 성패는 접근 기술 (5G vs 4G) 보다 네트워크 아키텍처 (클라우드 vs 엣지) 에 더 크게 의존함. 엣지 컴퓨팅은 지리적 거리와 라우팅 홉을 줄여 지연을 획기적으로 개선.
  • 상향 링크 병목 현상: 상호작용형 AVSE 서비스에서 상향 링크 (Uplink) 용량이 주요 병목 지점이며, 압축 기술이 필수적임.
  • 트레이드오프 관리: 처리 지연과 향상 품질 사이의 근본적인 상충 관계를 인식하고, 네트워크 상태와 컴퓨팅 자원에 따라 동적으로 프로파일을 조정하는 적응형 운영 전략이 필수적임.
• 결론: 공개 5G 엣지 환경은 네트워크와 컴퓨팅 자원을 신중하게 조율할 때 실시간 상호작용형 멀티미디어 워크로드를 지원할 수 있음. 다만, 전용 인프라에 비해 성능 마진이 좁으므로 동적 적응과 엣지 근접성이 아키텍처 설계의 핵심 요소여야 함.
• 향후 연구: 이동성 지원, 다중 사용자 시나리오, GPU 가속 엣지 인스턴스 활용, 적응형 청크링 및 엣지 지원 학습 (Edge-assisted learning) 등을 통해 지연을 further 줄이고 향상 품질을 유지하는 방향으로 확장 예정.

이 논문은 차세대 증강현실 (AR), 대화형 회의, 보청기 등 지연 민감형 멀티모달 서비스의 5G 엣지 클라우드 배포를 위한 중요한 기술적 기준과 실증 데이터를 제공합니다.