Towards Adaptive and Accessible Subtitled Media: A Systematic Review, Taxonomy and Design Considerations

어두운 방에 앉아 스크린 위의 영화를 보고 있다고 상상해 보십시오. 대부분의 시청자에게 이야기는 소리와 시각을 통해 펼쳐지지만, 청각이나 시각에 어려움이 있는 수백만 명의 사람들에게는 화면에 나타나는 텍스트 없이는 그 경험이 불완전합니다. 자막 또는 폐쇄 자막(closed captions)이라고 불리는 이 단어들은 구어체를 문자로 번역하고 소리를 설명함으로써, 오디오 세계로 향하는 필수적인 가교 역할을 합니다. 수십 년 동안 이 단어들이 나타나는 방식은 대체로 동일했습니다. 검은 배경에 흰색 텍스트로, 화면 하단에 고정되어 한 번에 세 줄씩 나타나는 방식입니다. 이러한 "일률적인(one-size-fits-all)" 접근 방식은 많은 이들에게 효과적이지만, 특정 장애가 있는 사람들에게는 장벽이 될 수 있습니다. 인지 처리 차이가 있는 사람은 텍열이 너무 빠르게 움직인다고 느낄 수 있고, 시각 장애가 있는 사람은 복잡한 배경 위에서 작은 글자를 읽는 데 어려움을 겪을 수 있습니다. 연구자들이 질문하기 시작한 문제는, 우리가 모든 시청자의 독특한 요구에 더 잘 부합하도록 이 단어들이 어떻게 보이고, 움직이고, 나타나게 할 수 있는가 하는 점입니다.

던디 대학교(University of Dundee)의 연구팀은 이 질문에 답하기 위해 해당 주제에 관한 과학적 연구의 전체 역사를 살펴보는 작업을 수행했습니다. 그들은 1995년부터 2024년까지 29년 동안 발표된 147편의 학술 논문을 수집하고 분석했습니다. 그들의 목표는 단순히 존재하는 연구의 수를 세는 것이 아니라, 과학자들이 어떤 종류의 변화를 시도했는지, 누구를 대상으로 테스트했는지, 그리고 그 테스트가 무엇을 밝혀냈는지를 이해하는 것이었습니다. 이 방대한 연구 자료를 정리함으로써, 그들은 이 분야의 새로운 지도를 만들었으며, 이를 통해 어디에서 진전이 이루어졌고, 더 중요한 것은 어디에 상당한 공백이 남아 있는지를 드러냈습니다.

연구진은 대다수의 연구가 두 가지 특정 집단, 즉 청각 장애인(deaf or hard of hearing)과 시각 장애인(blind or have low vision)에게 집중되어 있다는 것을 발견했습니다. 이 공동체들이 주요 초점이 된 이유는 텍스트의 시각적 스타일을 바꾸는 것이 청각 손실이 있는 사람들에게 직접적인 도움이 되고, 오디오 신호나 화면 설명을 조정하는 것이 시각 손 loss이 있는 사람들을 돕기 때문입니다. 그러나 이번 검토는 냉혹한 현실을 드러냈습니다. 다른 집단들은 대체로 소외되어 있었습니다. 연구 결과, 지적 또는 발달 장애가 있는 사람, 신경 다양성(neurodivergent)을 가진 개인, 또는 정신 건강 문제를 가진 사람들에 대한 연구는 거의 전무한 것으로 나타났습니다. 더욱 놀라운 점은, 전 세계적으로 수백만 명이 앓고 있는 질환임에도 불구하고 실어증(aphasia, 언어를 이해하거나 생성하는 능력에 영향을 미치는 상태)을 겪는 사람들을 구체적으로 다룬 논문이 단 한 편도 없었다(0.0%)는 사실입니다. 저자들은 이러한 간과가 놓친 기회라고 제안하며, 이 그룹들은 현재의 디자인이 해결하지 못하는 독특한 과제들을 흔히 직면한다고 말합니다.

또 다른 주요 발견은 사람들이 어디에서 어떻게 적응형 영상을 시청하는지에 관한 것입니다. 연구에 따르면 대부분의 연구는 데스크톱 컴퓨터와 노트북을 대상으로 수행되었으며, 텔레비전, 스마트폰, 또는 대형 영화관 스크린에서 진행된 실험은 매우 적었습니다. 이는 우리가 미디어를 소비하는 방식이 급격히 변화했다는 점에서 중대한 한계입니다. 사람들은 이제 작은 휴대폰부터 거대한 극장 스크린에 이르기까지 매우 다양한 기기로 콘텐츠를 소비하지만, 자막 디자인에 관한 과학은 그 속도를 따라잡지 못했습니다. 이번 검토는 작은 컴퓨터 모니터에서 작동하는 방식이 대형 영화관 스크린이나 가상 현실 헤드셋에서는 작동하지 않을 수 있음을 시사합니다. 또한, 사람들이 영상을 보는 맥락은 주로 엔터테인먼트와 교육에 국한되어 있었으며, 번잡한 카페나 박물관과 같은 사회적 또는 공공적인 환경에서 자막이 어떻게 기능하는지에 대해서는 거의 주의를 기울이지 않았습니다.

이러한 아이디어들을 테스트하는 데 사용된 실제 방법론에 관해서도 연구진은 설문지와 조사에 대한 과도한 의존도를 포착했습니다. 이러한 도구들은 의견을 수집하는 데 유용하지만, 대개 통제된 실험실 환경이나 참가자의 가정에서 이루어집니다. 연구 결과, 사람들의 일상생활을 관찰하거나 적응형 기술이 시간이 지나도 어떻게 유지되는지 확인하기 위한 장기적인 연구를 수행한 연구자는 매우 적었습니다. 이는 우리가 자막을 개선하는 방법에 대해 많은 아이디어를 가지고 있음에도 불구하고, 그것이 복잡하고 예측 불가능한 일상의 현실 속에서 실제로 어떻게 작동하는지에 대한 증거는 부족하다는 것을 의미합니다. 저자들은 미래의 연구가 실험실을 넘어 노인과 간병인을 포함한 훨씬 더 넓은 범위의 사람들을 참여시켜, 이 도구들에 의존하는 다양한 인구의 요구를 진정으로 이해해야 한다고 주장합니다.

연구팀은 또한 자막에 가해지는 변화의 유형을 분류하는 새로운 방법을 개발했습니다. 그들은 네 가지 주요 영역을 살펴보았습니다: 텍스트가 화면의 어디에 나타나는지, 영상에 대한 텍스트의 위치(예: 별도의 기기 상의 위치), 텍스트의 실제 내용, 그리고 폰트, 색상, 크기와 같은 텍스트의 외형적 모습입니다. 분석 결과, 연구자들이 이 네 가지 영역 모두에서 실험을 진행하고는 있지만, 그 초점은 불균형하다는 것을 보여주었습니다. 문장을 단순화하거나 구두점을 추가하는 것과 같이 텍스트의 내용을 바꾸는 것이 가장 흔하게 연구된 영역이었습니다. 반면, 자막을 별도의 기기나 가상 현실 공간과 같은 다른 위치로 이동시키는 것에 대한 연구는 훨씬 적게 이루어졌습니다. 이러한 불균형은 우리가 단어 자체를 미세하게 조정하는 데는 능숙하지만, 그 단어들이 나타나는 물리적 공간을 재고하는 데는 더 느리다는 것을 시사합니다.

궁극적으로, 이 종합적인 검토는 과학계와 미디어 제작자들에게 행동 촉구를 하는 메시지입니다. 이는 현재의 자막 접근 방식이 너무 경직되어 있고, 너무 좁은 범위의 사용자에게만 집중되어 있음을 강조합니다. 저자들은 진정으로 접근 가능한 미디어를 만들기 위해서는 우리의 사고를 확장해야 한다고 제안합니다. 이는 작은 휴대폰부터 큰 영화관 디스플레이에 이르기까지 다양한 화면 크기에 적응할 수 있는 자막을 설계하고, 훨씬 더 넓은 스펙트럼의 인간적 필요에 맞춤화될 수 있는 시스템을 만드는 것을 의미합니다. 더 다양한 집단의 사람들을 설계 과정에 참여시키고, 실생활 환경에서 이러한 솔루션들을 테스트함으로써, 우리는 모든 이가 자신의 능력과 관계없이 화면을 통해 전달되는 이야기와 정보를 온전히 즐길 수 있는 미래로 나아갈 수 있습니다. 앞으로 나아가기 위해서는 기술적 혁신뿐만 아니라, 우리가 세상을 보고 듣는 방식을 설계할 때 누구를 고려할 것인가에 대한 근본적인 인식의 전환이 필요합니다.