Predictive Authoring for Brazilian Portuguese Augmentative and Alternative Communication

이 논문은 BERTimbau 를 활용하여 브라질 포르투갈어 AAC 시스템의 그림기호 예측을 위한 학습 코퍼스를 구축하고, 그림기호를 단어, 정의, 동의어 또는 이미지로 표현하는 다양한 방법을 평가하여 캡션 기반 표현이 가장 높은 정확도를 보임을 입증했습니다.

핵심

🎨 1. 문제: 그림 카드가 너무 많아서 길을 잃다

말을 잘 못 하거나, 자폐증, 뇌성마비 등을 가진 사람들은 의사소통을 위해 **그림 카드 (피クト그램)**를 사용합니다.

• 상황: "나는 배가 고파"라고 말하고 싶다면, '나' + '배고픔' + '먹다' 그림을 순서대로 눌러야 합니다.
• 문제: 그림 카드가 수만 개가 되다 보니, 원하는 그림을 찾기 위해 수많은 카드를 뒤져야 합니다. 마치 거대한 도서관에서 책 한 권을 찾으려는데 책장만 수천 개인 것과 같습니다. 사용자가 지치고, 말하기가 너무 느려집니다.

🤖 2. 해결책: "AI 비서"를 붙이다

이 연구는 **"AI 비서 (예측 모델)"**를 달아서, 사용자가 몇 글자만 입력하면 다음에 올 그림을 자동으로 추천해 주는 시스템을 만들었습니다.

• 비유: 우리가 스마트폰에서 "안녕"이라고 치면 "하세요"가 자동으로 뜨는 것처럼, 그림 카드에서도 "나"를 누르면 "배고파"나 "물" 같은 다음 그림을 AI 가 미리 추천해 주는 것입니다.

🇧🇷 3. 핵심 기술: "브라질 포르투갈어"를 가르친 AI

이 연구는 브라질 포르투갈어를 사용하는 사람들을 위해 BERTimbau라는 AI 모델을 사용했습니다.

• 도전 과제: AI 는 보통 자연스러운 문장 (책이나 뉴스) 을 배워서 학습합니다. 하지만 그림 카드로 만든 문장은 문법이 짧고 특이합니다.
• 해결 방법: 연구팀은 **가상 문장 (Synthetic Corpus)**을 대량으로 만들어 AI 에게 가르쳤습니다.
  • 방법: 전문가들이 만든 실제 문장 + **GPT-3(초거대 AI)**를 이용해 비슷한 문장을 수천 개 더 만들어 학습 데이터를 채웠습니다.
  • 비유: 요리사가 새로운 요리를 배울 때, 실제 손님들의 주문 (전문가 문장) 을 보고, AI 가 만들어낸 가상의 주문 (GPT-3 문장) 을 섞어서 레시피를 완성한 것과 같습니다.

🔍 4. 실험: 그림을 어떻게 가르쳐야 할까? (가장 중요한 부분)

AI 에게 그림을 가르칠 때, 그림 자체를 어떻게 설명하느냐에 따라 성능이 달라집니다. 연구팀은 네 가지 방법을 비교했습니다.

1. 제목 (Caption) 으로 가르치기: 그림 아래 적힌 단어만 사용 (예: '사과').
2. 동의어로 가르치기: 같은 뜻의 다른 단어들을 함께 사용 (예: '사과', '과일', '빨간 과일').
3. 사전 정의 (Definition) 로 가르치기: 사전을 보고 설명을 가르침 (예: '사과: 붉은 과일로 맛이 달다').
4. 이미지 (Image) 로 가르치기: 그림 자체를 AI 에게 보여줌.

🏆 5. 결과: 어떤 방법이 가장 좋을까?

결과는 매우 흥미로웠습니다.

• 가장 정확한 방법 (정답 찾기): 그림의 **제목 (단어)**만 가르쳤을 때, AI 가 다음 그림을 맞힐 확률이 가장 높았습니다.
  • 비유: "사과"라는 단어만 알려주면, AI 는 문맥상 다음에 올 단어를 가장 잘 예측했습니다.
• 가장 유창한 방법 (자연스러움): 동의어를 함께 가르쳤을 때, AI 가 문장을 더 자연스럽게 이해했습니다. (혼란이 적음)
• 실패한 방법: **그림 자체 (이미지)**를 가르치는 것은 오히려 성능이 떨어졌습니다.
  • 이유: AI 는 이미 텍스트 (단어) 를 이해하는 데 특화되어 있는데, 갑자기 그림을 섞어주니 혼란이 생긴 것입니다. 마치 수학 문제를 풀 때 갑자기 그림을 보여주고 풀게 하는 것처럼 비효율적이었습니다.

💡 6. 결론 및 시사점

이 연구는 **"그림 카드를 예측할 때, 그림 그 자체보다는 그림에 적힌 '단어'나 '동의어'를 AI 에게 가르치는 것이 가장 효과적이다"**는 것을 증명했습니다.

• 의미: 앞으로 개발될 그림 말하기 도구들은 AI 가 사용자의 다음 행동을 더 잘 예측하여, 사용자가 몇 번만 터치해도 원하는 말을 할 수 있게 도와줄 것입니다.
• 마무리: 이 기술은 말 못하는 아이들에게는 '소리', 글을 모르는 아이들에게는 '말'이 되어주어, 그들이 세상과 더 쉽게 소통할 수 있는 다리를 만들어줍니다.

---

한 줄 요약:

"그림 말하기 도구 (AAC) 에 AI 비서를 붙여주니, 그림의 '단어'를 가르치는 것이 가장 효과적이라는 것을 발견하여, 말하기가 어려운 사람들이 더 쉽게 소통할 수 있는 길을 열었습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 복잡성 의사소통 필요 (CCN) 를 가진 개인 (자폐증, 뇌성마비, 지적 장애 등) 은 증강 및 대체 의사소통 (AAC) 시스템을 사용하여 의사소통합니다. 고도화된 AAC 시스템은 그림 기호 (pictogram) 를 순차적으로 배열하여 문장을 구성하는 방식을 사용합니다.
• 문제점:
  • 사용자의 어휘가 증가할수록 원하는 항목을 찾아 문장을 완성하는 것이 어려워집니다.
  • 기존 예측 모델 (n-gram, 지식 기반) 은 일반화 능력이 부족하거나 다양한 사용자/언어에 적응하기 어렵습니다.
  • 특히 브라질 포르투갈어로 된 AAC 전용 코퍼스가 부족하여, BERT 와 같은 최신 언어 모델을 파인튜닝 (fine-tuning) 하기 위한 훈련 데이터가 부재했습니다.
  • 그림 기호를 예측 모델에 입력할 때, 단순히 '캡션 (단어)'으로만 표현할지, '개념 (동의어/사전 정의)'으로 표현할지, 혹은 '이미지'를 활용할지에 대한 명확한 가이드라인이 부족했습니다.

2. 제안된 방법론 (Methodology)

이 연구는 브라질 포르투갈어 버전인 BERTimbau를 사용하여 그림 기호 예측을 수행하는 파인튜닝 모델을 제안하며, 다음과 같은 4 단계 프로세스를 따릅니다.

가. 데이터 구축 (Corpus Construction)

• 데이터 수집: AAC 전문가 (언어 치료사, 심리학자, 부모 등) 로부터 667 개의 고유한 문장을 수집했습니다.
• 데이터 증강 (Data Augmentation): 수집된 문장을 Few-shot 학습 프롬프트로 사용하여 GPT-3를 통해 2,772 개의 유사한 합성 문장을 생성했습니다.
• 데이터 정제: 오프ensive 한 내용 제거, BERTimbau 를 이용한 퍼플렉시티 (Perplexity) 기반 이상치 제거, 토큰 수 필터링 (3~11 개) 을 수행했습니다.
• 텍스트 - 그림 변환: 자연어 문장을 ARASAAC 데이터베이스의 그림 기호로 변환했습니다.
  • 의미소거 (Disambiguation): 같은 단어가 여러 그림 기호에 대응되는 경우 (예: 'banco'가 은행과 의자를 모두 의미), BERTimbau 로 문맥과 그림 기호 정의를 인코딩하여 KNN 알고리즘으로 가장 적합한 그림 기호를 선택했습니다.
• 최종 코퍼스: 총 13,796 개의 문장으로 구성된 브라질 포르투갈어 AAC 전용 코퍼스를 구축했습니다.

나. 모델 파인튜닝 (Model Fine-tuning)

• 모델: 브라질 포르투갈어 BERT (BERTimbau) 를 기반으로 합니다.
• 어휘 및 임베딩 수정: 기존 WordPiece 서브워드 토크나이저 대신, 그림 기고 ID 를 고유 토큰으로 사용하는 단어 수준 토크나이저를 적용하고 임베딩 레이어를 재설계했습니다.
• 그림 기호 표현 방식 비교 실험: 그림 기호를 모델에 입력하는 4 가지 방식을 비교했습니다.
  1. 캡션 (Captions): 그림 기호에 붙은 단어/구문 사용.
  2. 동의어 (Synonyms): ARASAAC 키워드 및 동의어 집합의 평균 임베딩 사용.
  3. 정의 (Definitions): 사전 정의와 키워드를 결합하여 BERT 임베딩 (입력층 평균 또는 [CLS] 토큰 출력) 사용.
  4. 이미지 (Images): Vision Transformer (ViT) 를 사용하여 그림 이미지에서 추출한 임베딩 사용.

다. 평가 지표

• Perplexity (PPL): 모델의 언어 이해도 및 일반화 능력 평가 (낮을수록 좋음).
• Top-n Accuracy: AAC 시스템의 그리드 크기 (1, 9, 18, 25, 36 개) 를 시뮬레이션하여 정답이 상위 n 개 예측 안에 포함될 확률 평가.

3. 주요 결과 (Results)

실험 결과는 Table 2에 요약되어 있으며, 주요 발견은 다음과 같습니다.

• 성능 비교:

  • Perplexity: 동의어 (Synonyms) 기반 표현이 가장 낮은 퍼플렉시티 (14.282) 를 기록하여, 모델이 테스트 데이터의 언어 패턴을 가장 잘 이해하고 일반화함을 보였습니다.
  • 정확도 (Accuracy): 캡션 (Captions) 기반 표현이 가장 높은 Top-n 정확도 (ACC@1: 0.237, ACC@36: 0.702) 를 기록했습니다.
  • 정의 (Definitions): 입력층 평균 임베딩을 사용한 정의 기반 모델은 캡션/동의어보다 성능이 낮았으며, [CLS] 토큰 출력 기반은 더 낮았습니다.
  • 이미지 (Images): 이미지 임베딩을 단독으로 사용하거나 다른 텍스트 임베딩과 결합했을 때 성능이 현저히 떨어졌습니다 (PPL > 89, ACC@1 < 0.01). 이는 이미지 벡터 공간과 BERT 텍스트 벡터 공간의 불일치와 더 많은 학습 데이터/시간이 필요하기 때문으로 분석됩니다.

• 결론:

  • 캡션과 동의어 기반 표현은 유사한 성능을 보였으나, 캡션이 실제 정확도 측면에서 우세했습니다.
  • 동의어는 일반화 능력 (퍼플렉시티) 이 우수했으나, 동의어 데이터베이스의 사전 존재가 필요합니다.
  • 이미지를 활용한 임베딩은 현재 기술 수준에서는 텍스트 기반 임베딩보다 예측 품질을 높이는 데 기여하지 못했습니다.

4. 핵심 기여 (Key Contributions)

1. 브라질 포르투갈어 AAC 코퍼스 구축: 전문가 문장과 GPT-3 를 활용한 합성 데이터를 결합하여, 해당 언어권에서 처음으로 대규모 AAC 전용 훈련 코퍼스를 구축했습니다.
2. BERT 기반 그림 기호 예측 프레임워크: BERTimbau 를 AAC 도메인에 맞게 어휘와 임베딩 레이어를 수정하여 파인튜닝하는 방법을 제시했습니다.
3. 그림 기호 표현 방식에 대한 실증적 분석: 캡션, 동의어, 정의, 이미지 등 다양한 표현 방식의 성능을 정량적으로 비교하여, 실제 AAC 시스템 설계 시 어떤 방식을 선택해야 하는지에 대한 가이드라인을 제공했습니다.
4. 오픈 소스: 실험 코드 및 구축된 코퍼스를 공개하여 후속 연구를 촉진했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • AAC 사용자의 문장 작성 부담을 줄이고 의사소통 속도를 높이는 예측 기능의 도입을 가능하게 합니다.
  • 저자원 (Low-resource) 언어 환경에서도 대규모 언어 모델 (LLM) 과 생성형 AI 를 활용하여 도메인 특화 데이터를 구축하고 모델을 학습시킬 수 있음을 증명했습니다.
  • 연구자 및 개발자가 AAC 시스템의 예측 알고리즘 설계 시 '그림 기호를 어떻게 표현할 것인가'에 대한 데이터 기반 의사결정을 내릴 수 있게 합니다.

• 한계:

  • 실제 사용자 평가 부재: 모델은 실제 AAC 사용자 (CCN 환자 등) 를 대상으로 한 실험이 아닌, 정량적 지표 (PPL, Accuracy) 로만 평가되었습니다.
  • 데이터 편향: GPT-3 를 사용한 데이터 증강 과정에서 모델의 편향이 반영될 수 있으며, 브라질 포르투갈어 특화 모델이 아닌 일반 모델로 생성된 문장의 정확도가 완벽하지 않을 수 있습니다.
  • 이미지 활용의 미흡: 이미지 임베딩이 성능 향상에 기여하지 못했으나, 이는 학습 데이터 부족이나 벡터 공간 정합성 문제 때문일 수 있어 향후 연구가 필요합니다.

요약하자면, 이 논문은 브라질 포르투갈어 AAC 시스템을 위해 BERT 기반 예측 모델을 개발하고, 그림 기호를 텍스트 (캡션/동의어) 로 표현하는 것이 이미지 표현보다 효과적임을 입증하여, 효율적인 의사소통 지원 시스템 구축을 위한 기술적 토대를 마련했습니다.