The Distribution of Phoneme Frequencies across the World's Languages: Macroscopic and Microscopic Information-Theoretic Models

Este artigo apresenta uma explicação unificada sob a ótica da teoria da informação para a distribuição de frequências de fonemas nas línguas do mundo, demonstrando que, em nível macroscópico, essas distribuições seguem estatísticas de ordem de uma distribuição de Dirichlet simétrica com compensação de entropia, enquanto em nível microscópico, um modelo de máxima entropia com restrições articulares, fonotáticas e lexicais prevê com precisão as probabilidades específicas de cada língua.

O essencial

Imagine que a linguagem humana é como uma grande orquestra mundial. Cada língua é um músico diferente, e os fonemas (os sons básicos, como "a", "b", "t", "k") são as notas musicais que eles tocam.

Este estudo de dois pesquisadores da Universidade de Cambridge quer responder a uma pergunta simples: Por que algumas notas são tocadas o tempo todo, enquanto outras raramente aparecem? E mais importante: existe uma regra oculta que governa como todas as orquestras do mundo organizam suas músicas?

A resposta deles é fascinante e funciona em dois níveis: o Macroscópico (a visão geral da orquestra) e o Microscópico (o que acontece nota por nota).

1. O Nível Macroscópico: A "Regra de Ouro" das Orquestras

Imagine que você tem uma caixa de 100 notas musicais. Se você fosse um compositor aleatório, como distribuiria o uso dessas notas?

• Você usaria todas igualmente? (Todos tocam a mesma quantidade).
• Ou você usaria algumas muito e outras quase nada? (Um solista toca o tempo todo, o resto toca de vez em quando).

O estudo descobriu que as línguas seguem uma "receita matemática" muito específica, chamada Distribuição de Dirichlet Simétrica.

A Analogia da "Balança de Ouro":
Pense no tamanho do vocabulário de sons de uma língua como o tamanho da orquestra.

• Orquestras Pequenas (Poucos sons): Como o Rotokas (uma língua com apenas 11 sons), eles têm que usar todas as suas notas de forma muito equilibrada. É como um quarteto de cordas: se um violino parar de tocar, a música quebra. Então, a distribuição é muito "plana" e justa.
• Orquestras Gigantes (Muitos sons): Como o Taa (uma língua com 160 sons!), eles têm tantos sons que podem ser "desleixados". Eles podem ter um "solista" (um som muito comum) e deixar 150 outros sons tocarem apenas um acorde por ano.

A Grande Descoberta (A Hipótese da Compensação):
Os autores chamam isso de Compensação.

Quanto mais sons uma língua tem, mais "desigual" é o uso desses sons.

É como se a natureza dissesse: "Se você tem muitos ingredientes na sua despensa (muitos sons), você não precisa usar todos com a mesma frequência. Pode focar nos favoritos e deixar os outros de lado." Isso cria um equilíbrio: línguas complexas em sons tornam-se mais simples na forma como usam esses sons, economizando energia mental para quem fala.

2. O Nível Microscópico: O "Detetive de Sons"

Agora, vamos descer ao nível de cada som individual. Por que o som "N" é mais comum que o "Z" em inglês? O estudo usa um método chamado Entropia Máxima (que é basicamente a ciência de fazer a melhor previsão possível com base no que sabemos, sem inventar nada).

Eles descobriram que a frequência de um som é ditada por três forças invisíveis, como se fossem três pesos numa balança:

1. O Custo Físico (O Esforço Muscular):

   • Analogia: Imagine que fazer o som "R" forte exige mais energia muscular do que fazer o som "M".
   • Regra: Sons que exigem mais esforço físico ou são mais difíceis de ouvir tendem a ser usados menos. É a lei do menor esforço: se é cansativo, a gente usa menos.

2. A Surpresa (O Contexto):

   • Analogia: Imagine que você está adivinhando uma palavra. Se você já ouviu "C...a...", é fácil adivinhar "Cavalo". O "V" é previsível.
   • Regra: Sons que são surpreendentes (que quebram o padrão) acabam sendo usados mais. Por que? Porque sons muito previsíveis tendem a ser "engolidos" ou esquecidos com o tempo (diacronicamente). O som que traz novidade e informação ganha destaque.

3. O Poder de Identificação (O Dicionário):

   • Analogia: Pense em um jogo de "Adivinhe a Palavra". Se você disser "B", isso ajuda muito a distinguir "Bola" de "Mola".
   • Regra: Sons que ajudam a distinguir palavras diferentes (que têm alto valor de informação) são usados com mais frequência. A língua precisa deles para não causar confusão.

O Resumo da Ópera

Este estudo é como se tivesse descoberto que, embora cada músico (língua) pareça tocar sua música de um jeito único, todos estão seguindo a mesma partitura matemática.

• No grande esquema: Línguas com muitos sons usam esses sons de forma desigual (alguns muito, outros pouco) para compensar a complexidade.
• No detalhe: A frequência de cada som é calculada por uma fórmula que equilibra: "Quanto custa fazer?", "Quão surpreendente é?" e "Quão útil é para distinguir palavras?".

É uma prova bonita de que a linguagem humana, apesar de sua diversidade, é governada por princípios de eficiência e economia de energia, como se fosse um sistema inteligente que se ajusta perfeitamente para funcionar da melhor maneira possível.

Resumo técnico

1. Problema e Motivação

O artigo aborda a distribuição de frequências de fonemas nas línguas humanas. Embora a distribuição de frequência de palavras seja bem estudada (seguindo frequentemente uma lei de potência, como a Lei de Zipf), a distribuição de fonemas recebeu menos atenção. Estudos anteriores tentaram modelar essa distribuição usando leis de potência (Zipf, Yule-Simon) ou combinações de leis de potência e exponenciais.

No entanto, os autores argumentam que essas abordagens falham em justificar por que fonemas específicos são mais frequentes que outros e não capturam adequadamente a natureza dos inventários fonêmicos, que são conjuntos fechados e pequenos (diferente de vocabulários abertos de palavras). O objetivo é fornecer uma explicação unificada, em níveis macroscópico e microscópico, para a estrutura de frequência dos fonemas, utilizando princípios da teoria da informação.

2. Metodologia

Os autores utilizaram três conjuntos de dados principais:

1. Dados históricos de 5 línguas (Sigurd, 1968).
2. Inventários de 166 variedades de línguas australianas (Macklin-Cordes & Round, 2020).
3. Um novo conjunto de dados compilado semi-automaticamente a partir de transcrições fonêmicas da Declaração Universal dos Direitos Humanos (UDHR) em 53 línguas, cobrindo grande diversidade genética e geográfica.

A análise foi dividida em dois níveis:

Nível Macroscópico (Estrutura Geral)

• Modelo: Os autores propõem que a distribuição de ranks de frequência dos fonemas segue as estatísticas de ordem de uma distribuição de Dirichlet simétrica.
• Parâmetro: A distribuição possui um único parâmetro de concentração ($\alpha$).
• Hipótese: O valor de $\alpha$ não é aleatório, mas escala sistematicamente com o tamanho do inventário fonêmico ($n$).
• Análise: Eles estimaram o $\alpha$ ótimo para cada língua e analisaram a correlação entre $\alpha$ e $n$.

Nível Microscópico (Frequências Específicas)

• Modelo: Utilização do Princípio da Entropia Máxima (MaxEnt) para prever as probabilidades de fonemas individuais.
• Restrições (Features): O modelo incorpora três tipos de restrições que atuam como "custos" ou "ganhos" de informação:
  1. Fatores Físicos (Articulação/Percepção): O custo físico de produzir um fonema, aproximado pela sua incidência cruzada nas línguas do mundo (fonemas mais raros globalmente têm maior custo).
  2. Fatores Fonotáticos: A previsibilidade do fonema em contextos sequenciais (surpresa segmental). Fonemas em contextos altamente previsíveis tendem a ser elididos diacronicamente, tornando-se menos frequentes.
  3. Fatores Lexicais (Nível Superior): O ganho de informação lexical que um fonema proporciona para a identificação de palavras (redução da incerteza lexical).

3. Principais Contribuições e Resultados

A. Modelo Macroscópico e a Lei de Escala

• Ajuste de Dirichlet: A distribuição de ranks de frequência dos fonemas em qualquer língua é bem descrita por uma distribuição de Dirichlet simétrica.
• Relação Inversa: Descobriu-se uma forte correlação negativa entre o tamanho do inventário fonêmico ($n$) e o parâmetro de concentração ($\alpha$). A relação é modelada pela equação:
  $$\hat{\alpha}(n) \approx 19.47 \cdot n^{-0.95}$$
• Reconstrução: Com base apenas no tamanho do inventário ($n$), é possível prever com alta precisão a distribuição de ranks de frequência de uma língua, tornando o modelo virtualmente livre de parâmetros específicos da língua.

B. A Hipótese de Compensação (Compensation Hypothesis)

• Entropia Relativa: A análise mostra que, à medida que o tamanho do inventário fonêmico aumenta, a entropia relativa (a entropia da distribuição normalizada pela entropia máxima possível) diminui.
• Significado: Línguas com inventários maiores (mais complexos) tendem a ter distribuições de frequência mais "desiguais" (menos entropia), enquanto línguas com inventários menores têm distribuições mais uniformes.
• Compensação: Isso valida a Hipótese de Compensação de Hockett e Martinet: o aumento da complexidade em um domínio (número de contrastes) é compensado por uma redução na uniformidade da distribuição (aumento da previsibilidade de alguns fonemas), atenuando o custo de processamento de informação.

C. Modelo Microscópico e Previsão de Probabilidades

• Precisão do MaxEnt: O modelo de Entropia Máxima, utilizando as três restrições (físicas, fonotáticas e lexicais), consegue prever com alta acurácia as probabilidades observadas de fonemas específicos em línguas individuais.
• Efeitos das Restrições:
  • Custo Físico: Coeficiente negativo ($\lambda < 0$). Fonemas com maior custo físico (mais raros globalmente) são menos frequentes.
  • Surpresa Fonotática: Coeficiente positivo ($\lambda > 0$). Fonemas que ocorrem em contextos mais imprevisíveis (alta informação) tendem a ser mais frequentes (contrariando a intuição inicial, sugerindo um efeito diacrônico de elisão de fonemas previsíveis).
  • Ganho de Informação Lexical: Coeficiente positivo. Fonemas que ajudam mais a distinguir palavras (alta diversidade lexical condicionada) tendem a ser mais frequentes.
• Interação: Há uma correlação entre a sensibilidade aos custos físicos e aos aspectos lexicais, sugerindo que línguas que dependem mais da discriminabilidade lexical podem ser menos sensíveis aos custos articulares.

4. Significado e Conclusões

O estudo oferece uma explicação unificada para a estrutura de frequência dos fonemas:

1. Unificação Teórica: Demonstra que a estrutura fonêmica pode ser entendida através de princípios de teoria da informação, unindo estatísticas de ordem (macro) e restrições cognitivas/linguísticas (micro).
2. Superação de Modelos Anteriores: Substitui as tentativas anteriores de ajuste por leis de potência (que não se aplicam bem a conjuntos fechados pequenos) por um modelo de Dirichlet escalável.
3. Validação da Compensação: Fornece evidência quantitativa direta da Hipótese de Compensação no nível de fonemas unigramas, mostrando que a complexidade do inventário e a uniformidade da distribuição são trade-offs evolutivos.
4. Metodologia Inovadora: Introduz uma abordagem generativa (baseada em restrições) em vez de puramente descritiva para analisar a distribuição de unidades linguísticas, permitindo prever frequências a partir de propriedades físicas e estruturais.

Em suma, o artigo conclui que a distribuição de fonemas é o resultado de uma otimização entre custos articulares, restrições fonotáticas e a necessidade de eficiência na discriminação lexical, tudo isso moldado por uma estrutura estatística fundamental governada pelo tamanho do inventário.