162 편의 논문
이 논문은 음악 네트워크 표현에서 단일 특징 기반의 압축된 표현이 높은 불확실성과 낮은 모델 오차를 보이는 반면, 풍부한 다중 특징 표현은 더 정교한 구분을 제공하지만 상태 공간 확대로 인해 모델 오차가 증가함을 보여주어, 특징 선택이 네트워크 구조뿐만 아니라 청자의 기대를 반영하는 불확실성의 적합성까지 결정한다는 것을 규명합니다.
이 논문은 시각적 구강 움직임을 이산적 의미 토큰으로 변환하는 DP-LipCoder 와 다중 스케일 전역 - 국소 어텐션 메커니즘을 활용한 경량화 모델 'Dolphin'을 제안하여, 기존 최첨단 모델 대비 분리 품질은 유지하거나 향상시키면서도 파라미터 수와 연산량을 획기적으로 줄인 효율적인 오디오 - 비주얼 음성 분리 솔루션을 제시합니다.
이 논문은 기존 음성 활동 감지 (VAD) 모델의 특정 계층에 대해 하이퍼네트워크를 통해 개인화된 가중치를 생성하는 'HyWA'를 제안하여, 기존 스피커 조건부 방법보다 성능을 향상시키고 동일한 아키텍처 재사용을 통한 배포 용이성을 확보했다고 요약할 수 있습니다.
이 논문은 오디오 압축 코덱 선택 시 단순한 압축 효율뿐만 아니라 청각적 정확도와 청취자가 인지하는 음질 특성도 고려해야 함을 주장하며, 다양한 코덱의 성능 측정, 시각화 및 PEAQ 점수를 통해 압축 기술이 지각적 음질에 미치는 영향을 평가하고 있습니다.
이 논문은 텍스트, 음성, 시각 모달리티 간의 노이즈를 제거하고 우세한 모달리티의 편향을 완화하기 위해 차분 그래프 어텐션 메커니즘과 적응형 모달리티 균형 메커니즘을 도입한 AMB-DSGDN 모델을 제안하여 다중 모달 대화 감정 인식 성능을 향상시킵니다.
이 논문은 C++ 로 구현된 Max 외부 객체 'nlm'을 소개하여, 작곡가와 사운드 디자이너가 물리 모델링 파라미터를 실시간으로 제어하고 커스텀 모드 데이터를 불러와 현, 막, 판의 비선형 모달 합성을 쉽게 구현할 수 있도록 함으로써 비선형 모달 합성의 접근성을 높인다고 설명합니다.
이 논문은 텍스트 프롬프트, 참조 이미지, 짧은 오디오 클립을 단일 생성 과정으로 통합하여 시각적 외모와 목소리를 동시에 개인화하는 새로운 모델 'ID-LoRA'를 제안하며, 이를 통해 기존 방법론 대비 뛰어난 음성 유사도와 화자 특성을 구현하고 단일 GPU 에서 3 천 개의 훈련 쌍만으로 학습이 가능함을 보여줍니다.
이 논문은 직교 행렬 투영을 통해 초기 노이즈에 비밀 메시지를 임베딩하고, 잠재 공간 최적화와 역방향 오일러 역변환을 도입하여 재구성 오차를 최소화함으로써 64kbps MP3 압축 하에서도 0.15% 의 매우 낮은 비트 오류율을 달성하는 증명 가능한 보안성과 강인성을 갖춘 오디오 확산 스테가노그래피 프레임워크 'PRoADS'를 제안합니다.
이 논문은 환경 소음에 강건하면서도 저음량 발화까지 포착할 수 있도록 안경의 코받침에 마이크와 진동 센서를 융합한 'NasoVoce'라는 새로운 음성 인터페이스를 제안하고, 이를 통해 항상 가능한 조용하고 은밀한 AI 음성 대화의 실현 가능성을 입증했습니다.
이 논문은 화성음성 인식 (ASR), 음성 활동 감지 (VAD), 언어 식별 (LID), 구두점 예측 (Punc) 모듈을 통합하여 방언 및 코드스위칭까지 포괄하는 산업용 수준의 최첨단 자동 음성 인식 시스템 'FireRedASR2S'를 제안하고, 각 모듈이 기존 모델들을 능가하는 성능을 달성했음을 보고합니다.
이 논문은 XR 환경에서 오디오-비주얼 단서를 활용하여 최대 5 개의 음원을 실시간으로 분리하고 음성을 명확하게 인식하게 함으로써 사용자의 청취 이해도를 36.2% 향상시키고 인지 부하를 줄이는 'MoXaRt' 시스템을 제안합니다.
이 논문은 장문의 다자간 중첩 음성을 처리할 때 chunk 단위 추론에서 회의 수준의 화자 일관성을 유지하면서 시간 스탬프가 포함된 화자 할당 전사문을 생성하기 위해, 시간 인식 화자 추적 모듈과 Speech-LLM 전사 백본을 결합한 종단간 시스템 'G-STAR'를 제안합니다.
이 논문은 LLM 의 의미적 사전 지식을 인코더에 증류하고 화자 수를 예측하여 동적으로 디코딩 분기를 선택하는 Talker-Count Routing 을 도입함으로써, 계산 비용은 낮추면서도 화자 수가 증가할수록 성능이 향상되는 효율적인 인코더 전용 다화자 음성 인식 프레임워크를 제안합니다.
이 논문은 지리 정보 시스템 데이터에서 추출된 지리 공간 의미적 맥락 (GSC) 을 오디오 신호와 결합하여 다중 레이블 오디오 태깅의 모호성을 해결하는 'Geo-AT'작업과 이를 평가하기 위한 벤치마크 'Geo-ATBench', 그리고 통합 융합 프레임워크 'GeoFusion-AT'를 제안합니다.
이 논문은 혼합 음성과 짧은 등록 음성을 조건으로 하여 혼합 비율 예측 없이 한 번의 단계로 목표 화자 음성을 추출하는 새로운 생성 모델 'AlphaFlowTSE'를 제안하며, 이를 통해 지연 시간을 줄이고 화자 유사성 및 실제 환경에서의 자동 음성 인식 성능을 향상시켰습니다.
이 논문은 기존 음성 위조 탐지 모델의 한계를 극복하고 다양한 생성 기술과 입력 변형에 대한 견고성을 검증하기 위해 제안된 모델 독립적인 확률적 프레임워크인 PV-VASM 과 그 이론적 상한선 및 실험적 유효성을 소개합니다.
이 논문은 대규모 오디오 언어 모델과 인간이 주석한 데이터셋에서 도출된 사고 연쇄 추론을 결합하여, 새로운 오디오 도메인 및 생성기에 대한 일반화 성능과 예측에 대한 인간이 이해할 수 있는 해석 가능성을 동시에 갖춘 새로운 음성 딥페이크 탐지 프레임워크인 HIR-SDD 를 제안합니다.
이 논문은 현재 스피치 인식 LLM 의 화자 식별 능력이 부족함을 규명하고, ECAPA-TDNN 임베딩을 주입하고 LoRA 를 미세조정하는 경량 증강 기법을 통해 자연어 인터페이스를 유지하면서 화자 검증 성능을 획기적으로 개선한 'ECAPA-LLM'을 제안합니다.
이 논문은 GPU 기반 생태계에 의존하지 않고 아센드 (Ascend) NPU 하드웨어와 오픈파누 (OpenPangu) LLM 을 기반으로 구축된 최초의 완전 오픈소스 다차원 음성 이해 기반 모델인 OSUM-Pangu 를 소개하며, 비 CUDA 환경에서도 주요 GPU 기반 모델과 유사한 성능을 달성함을 보여줍니다.
이 논문은 원시 오디오를 저장하지 않고 웨어러블 기기의 온디바이스 음성 기반 분석을 통해 병원 의료진 간의 자연스러운 의사소통 패턴을 실시간으로 측정하고, 이를 통해 업무 부하와 스트레스를 이해하여 의료 서비스의 질을 향상시키는 'VoxCare' 시스템을 제안합니다.