Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs

당신에게 수백만 권의 책을 읽으며 언어를 배우는 매우 똑똑하고 매우 빠른 로봇이 있다고 상상해 보세요. 과학자들은 이 로봇이 실제로 인간처럼 언어를 "이해"하는 것인지, 아니 아니면 그저 무엇이든 흉내 낼 수 있는 통계적 앵무새에 불과한 것인지를 두고 논쟁해 왔습니다.

어떤 비평가들은 로봇이 너무 유연하다고 말합니다: "그것은 실제 영어만큼이나 쉽게 헛소리(gibberish)도 배울 수 있으므로, 그것이 인간의 뇌가 어떻게 작동하는지를 증명하는 것은 아니다."

이 논문은 그 아이디어를 테스트합니다. 연구자들은 다음과 같은 질문을 던졌습니다: 이 로봇은 진짜 언어와 만들어진, 불가능한 언어를 구별할 수 있는가?

다음은 일상적인 비유를 사용하여 그들의 실험과 발견한 내용을 정리한 것입니다.

설정: "언어 체육관"

연구자들은 로봇을 위한 체육관을 만들었습니다(GPT-2라는 작은 AI 모델). 결과가 특정 언어 하나에 의한 우연이 아니도록 하기 위해, 그들은 영어만 사용한 것이 아니라 전 세계 12가지 다양한 언어(터키어, 중국어, 독일어, 아랍어 등)를 사용했습니다.

그들은 로봇을 위해 두 가지 유형의 "운동"을 만들었습니다:

1. 실제 언어: 인간이 말하는 정상적인 문장들.
2. 불가능한 언어: 이것들은 실제 문장을 뒤섞어 놓은 것입니다. 예를 들어 "The cat sat on the mat(고양이가 매트 위에 앉았다)"라는 문장을 가져와서 "mat on the sat cat the"처럼 단어를 섞어버리는 것을 상상해 보세요. 혹은 모든 단어를 거꾸로 뒤집는 식입니다. 이것들이 "불가능한" 이유는 어떤 인간의 뇌도 자연스럽게 배우거나 말하지 않을 것이기 때문입니다.

또한 그들은 "미사용(Unattested)" 언어를 테스트했습니다. 이것들은 논리적으로는 존재할 수 있지만, 단지 인간에 의해 사용된 적이 없는 언어들입니다. 마치 퍼즐 조각이 그림에는 딱 맞지만, 아무도 그 조각을 프레임 안에 끼워 넣지 않은 것과 같습니다.

실험 1: "스크램블 에그" 테스트

질문: 만약 로봇에게 뒤섞인 버전의 언어를 입력하면, 로봇은 그것이 망가졌다는 것을 알아차릴까요?

비유: 당신이 개에게 공을 가져오라고 가르치고 있다고 상상해 보세요. 만약 당신이 공을 던지면 개는 공을 가져옵니다. 만약 당신이 돌을 던지면, 개는 여전히 가져올 수도 있지만, 아마도 예전만큼 열정적으로 하지는 않을 것입니다. 연구자들은 로봇이 돌(뒤섞인 언어)보다 공(실제 언어)을 "선호하는지" 알고 싶었습니다.

결과:

• 대체로 그렇다: 거의 모든 언어에서 로봇은 뒤섞인 언어보다 실제 문장을 훨씬 더 빠르고 더 잘 학습했습니다. 단어 순서가 틀렸을 때 로봇은 "혼란"(퍼플렉시티(perplexity)라고 불리는 점수로 측정됨)을 느꼈습니다.
• 함정: 로봇이 완벽하지는 않았습니다. 때때로 뒤섞임이 아주 약간일 때(예를 들어 단어 두 개만 바꾼 경우), 로봇은 인간만큼 명확하게 차이를 알아차리지 못했습니다. 그것은 마치 어떤 노래가 음정이 틀렸다는 것을 알 수는 있지만, 단 한 음만 살짝 틀렸을 때는 놓칠 수도 있는 사람과 같았습니다.

실험 2: "글로벌 비교"

질문: 만약 우리가 모든 실제 언어와 모든 뒤섞인 언어를 함께 섞어 놓는다면, 로봇은 그것들을 두 개의 깔끔한 더미로 분류할 수 있을까요?

비유: 도서관 사서가 진짜 책 더미와 페이지가 무작위로 찢겨서 다시 붙여진 책 더미를 분류하려고 한다고 상상해 보세요. 사서는 책을 보는 것만으로 어느 더미가 어느 쪽인지 구별할 수 있을까요?

결과:

• 완벽하지는 않음: 로봇은 대부분의 경우 차이를 구별할 수 있었지만, 100%는 아니었습니다. 어떤 뒤섞인 언어들은 실제 언어와 너무 비슷해서 로봇이 혼동하기도 했습니다.
• 핵심 요점: 로봇은 실제 언어에 대해 "부드러운(soft)" 선호도를 가지고 있지만, 인간의 뇌가 가진 것처럼 엄격하고 단단하게 고정된 규칙을 가지고 있지는 않습니다. 그것은 마치 실제 노래를 선호하지만, 만약 리믹스가 아주 매력적이라면 이상한 리믹스도 즐길 수 있는 음악 팬과 같습니다.

실험 3: "문법 퍼즐"

질문: 인간은 특정 단어 순서에 대한 타고난 편향을 가지고 있습니다. 예를 들어, 영어에서는 "The red car(그 빨간 자동차)"라고 말합니다(형용사-명사). 다른 일부 언어에서는 "Car red(자동차 빨간)"라고 말합니다. 하지만 인간이 절대 사용하지 않는 조합들도 있습니다. 예를 들어 "Red car the(빨간 자동차 그)"와 같은 식입니다. 로봇은 이러한 기이하고 사용되지 않는 패턴을 일반적인 패턴만큼 잘 배울 수 있을까요?

비유: 아이에게 블록 쌓기를 가르친다고 상상해 보세요. 인간은 자연스럽게 안정적인 방식으로 쌓는 것을 선호합니다(큰 블록을 아래에, 작은 블록을 위에). 만약 당신이 그것을 거꾸로 쌓으라고 가르치려 한다면, 그들은 어려움을 겪을 것입니다. 연구자들은 로봇이 이 "거꾸로 된" 쌓기를 힘들어할지, 아니면 불평 없이 그냥 해낼지를 보고 싶었습니다.

결과:

• 혼란스러운 부분: 단순히 로봇이 얼마나 빨리 배우는지(퍼플렉시티)를 보았을 때는, 로봇이 사용되지 않는 이상한 단어 순서를 일반적인 것만큼이나 똑같이 잘 배웠습니다. 그것은 마치 로봇은 "안정성"의 규칙에 신경 쓰지 않는 것 같았습니다.
• 드러난 사실: 그러나 연구자들이 로봇의 "일반화(generalize)" 능력(배운 것을 새로운 상황에 적용하는 능력)을 테스트했을 때, 다른 그림이 나타났습니다. 로봇은 실제로 인간이 자연스럽게 사용하는 단어 순서에서 더 나은 성과를 보였습니다. 로봇은 미묘하고 인간적인 편향을 보여주었지만, 이는 실제 사람들에게서 보이는 것보다는 훨씬 약했습니다.

최종 판결: "무엇이든 가능하다?"

논문은 이 로봇이 무엇이든 똑같이 배울 수 있는 "백지 상태"가 아니라고 결론짓습니다.

• "무엇이든 가능하다"는 신화: 로봇이 실제 언어만큼이나 쉽게 헛소리를 배울 수 있다는 생각은 거짓입니다. 로봇은 어떤 "인간적인" 본능을 보여줍니다. 즉, 실제 언어를 선호하며 불가능한 언어에 대해서는 다소 어려움을 겪습니다.
• 현실: 하지만 이러한 본능은 약합니다. 그것들은 인간의 뇌 속에 있는 규칙만큼 강하거나 엄격하지 않습니다. 로봇은 문법 규칙을 공부한 매우 재능 있는 학생과 같지만, 인간이 타고나는 언어에 대한 깊은 직관은 결여되어 있습니다.

요약하자면: 로봇은 마법도 아니고, 인간 정신의 완벽한 복사본도 아닙니다. 로봇은 그 중간 어디쯤에 위치합니다. 로봇은 인간 언어의 "규칙"을 어느 정도 배웠지만, 인간의 학습을 독특하게 만드는 깊고 직관적인 이해는 여전히 부족합니다.