Non-Zipfian Distribution of Stopwords and Subset Selection Models

Este artigo propõe e valida um modelo de seleção de subconjunto baseado em funções de Hill para explicar por que a distribuição de frequência de stopwords segue a Função de Classificação Beta (BRF) em vez da Lei de Zipf, enquanto as palavras não-stopwords se ajustam melhor a uma função quadrática.

O essencial

Imagine que você tem uma biblioteca gigante cheia de livros. Se você pegar todas as palavras desses livros e organizá-las em uma lista, do mais usado para o menos usado, você verá um padrão clássico: algumas palavras (como "o", "a", "de", "e") aparecem milhões de vezes, enquanto a maioria das palavras (como "elefante", "sussurrar", "quimera") aparece apenas uma ou duas vezes.

Na linguística, chamamos essa regra de Lei de Zipf. É como se a popularidade das palavras seguisse uma linha reta perfeita em um gráfico especial.

Mas os autores deste artigo, Wentian Li e Oscar Fontanelli, descobriram algo fascinante quando olharam apenas para as palavras "chatas" ou "inúteis" que os computadores costumam ignorar: as Stopwords (palavras de parada).

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. O Problema: As Palavras "Invisíveis" não seguem a Regra

Normalmente, quando analisamos textos, removemos as stopwords (artigos, preposições, pronomes como "o", "para", "com") porque elas não carregam muito significado. Elas são como o "ar" entre as palavras importantes.

Os autores perguntaram: "Se pegarmos apenas essas palavras 'invisíveis' e fizermos nosso gráfico de popularidade, elas ainda seguirão a Lei de Zipf (a linha reta)?"

A resposta foi não.

• As palavras normais (não-stopwords): Seguem uma linha reta (Lei de Zipf) ou uma curva suave.
• As stopwords: Seguem uma curva diferente, chamada de Função de Classificação Beta (BRF).

2. A Analogia da Peneira (O Modelo de Seleção)

Como as stopwords se comportam de forma diferente? Os autores propõem um modelo de "peneira" ou "filtro".

Imagine que você tem um rio cheio de pedras de todos os tamanhos (todas as palavras do texto).

• A Lei de Zipf diz que a quantidade de pedras segue uma regra matemática específica.
• O Filtro de Stopwords é uma peneira especial que decide quais pedras ficam e quais vão embora.

A descoberta genial é que essa peneira não é aleatória. Ela funciona como um gradiente de inclinação:

• As pedras mais pesadas (as palavras mais comuns, como "o", "de", "e") têm uma chance quase de 100% de passar pela peneira e virar stopwords.
• Conforme você vai para pedras mais leves (palavras menos comuns), a chance de elas serem escolhidas como stopwords cai drasticamente.

Essa "probabilidade de ser escolhido" segue uma curva em forma de "S" invertida (chamada de Função de Hill na biologia, usada para descrever como drogas se ligam a receptores). É como se a peneira fosse muito generosa no começo (deixando passar as palavras mais comuns) e fosse ficando cada vez mais fechada para as palavras menos comuns.

3. O Resultado: A Curva Diferente

Quando você aplica essa "peneira" matemática a um conjunto de dados que segue a Lei de Zipf (a linha reta), o resultado matemático é que as palavras que passam (as stopwords) formam uma curva (a Função de Classificação Beta).

É como se você tirasse uma foto de um prédio reto (Lei de Zipf) e, ao olhar apenas para os andares mais baixos (as stopwords), a perspectiva fizesse o prédio parecer curvado.

4. E as outras palavras?

O artigo também olhou para o que sobrou depois de tirar as stopwords (as palavras "interessantes").

• Elas não seguem a Lei de Zipf perfeita nem a curva das stopwords.
• Elas se encaixam melhor em uma equação quadrática.
• Analogia: Se as stopwords são uma curva suave, as palavras importantes são como uma estrada que tem uma leve inclinação no início e muda de direção no final. Não é uma linha reta, nem uma curva simples; é um "arco" mais complexo.

Por que isso importa?

1. Para Computadores (IA): Hoje, usamos IAs (como o BERT) que entendem até as palavras "chatas". Saber que essas palavras seguem uma regra matemática diferente ajuda a treinar esses computadores de forma mais eficiente.
2. Para a Linguística: Mostra que o nosso cérebro e a nossa linguagem não são apenas uma "linha reta" de popularidade. A forma como escolhemos o que é "importante" e o que é "lixo" cria padrões matemáticos complexos e bonitos.

Resumo em uma frase:
As palavras que usamos o tempo todo (stopwords) não seguem a mesma regra de popularidade das palavras raras; elas seguem uma curva matemática específica que surge porque elas são selecionadas de forma "gradual" a partir do conjunto de todas as palavras, como se uma peneira especial estivesse filtrando o que é essencial e o que é apenas preenchimento.

Resumo técnico

Resumo Técnico: Distribuição Não-Zipfiana de Stopwords e Modelos de Seleção de Subconjuntos

1. Problema e Contexto

O artigo aborda uma lacuna fundamental na linguística quantitativa e no Processamento de Linguagem Natural (PLN). Embora seja bem estabelecido que a distribuição de frequência de todas as palavras em um texto segue a Lei de Zipf (uma lei de potência onde a frequência $T$ é inversamente proporcional ao posto $r$, $T \propto r^{-\alpha}$ com $\alpha \approx 1$), a distribuição estatística específica das stopwords (palavras de parada, como artigos, preposições e pronomes) dentro de seu próprio subconjunto permanecia uma questão aberta.

A questão central é: se o conjunto completo de palavras segue uma lei de potência, o subconjunto formado apenas pelas stopwords também seguirá essa mesma lei? Os autores investigam a forma funcional da distribuição de frequência-rank das stopwords e dos "não-stopwords" (palavras de conteúdo), propondo que elas não seguem a Lei de Zipf padrão, mas sim outras distribuições matemáticas específicas.

2. Metodologia

Os autores empregaram uma abordagem combinada de análise empírica de dados e derivação analítica:

• Dados e Corpus:
  • Utilizaram dois corpus principais: o Brown Corpus (mais de 1,1 milhão de tokens) e o romance Moby Dick (mais de 210.000 tokens).
  • Para validação, utilizaram 30 livros adicionais do Projeto Gutenberg.
  • Listas de Stopwords: Foram testadas três listas diferentes:
    1. NLTK: 198 entradas (123 formas não contraídas).
    2. spaCy: 305 entradas.
    3. Snowball: 175 entradas (usada para validação independente).
• Análise de Ajuste (Fitting):
  • Os gráficos de frequência-rank foram analisados em escala log-log.
  • Foram testados quatro modelos de ajuste: Lei de Zipf (potência pura), correção quadrática, Distribuição Beta Generalizada Discreta (DGBD) / Função de Rank Beta (BRF) e Função de Mandelbrot.
  • Para evitar viés visual em escalas logarítmicas (onde pontos raros dominam), os autores utilizaram uma técnica de amostragem uniforme em escala logarítmica.
• Modelo Teórico:
  • Desenvolveram um modelo de seleção de subconjuntos. A hipótese é que a probabilidade de uma palavra ser selecionada como "stopword" depende do seu posto original no conjunto completo.
  • A probabilidade de seleção foi modelada como uma função de Hill decrescente (ou uma função logística invertida): $P(stopword) = \frac{1}{1 + (r/r_{mid})^\gamma}$.
  • A probabilidade de não ser selecionada (para palavras de conteúdo) segue a forma padrão da função de Hill: $P(non-stopword) = \frac{1}{1 + (r_{mid}/r)^\gamma}$.

3. Principais Contribuições e Resultados

A. Distribuição das Stopwords (Função de Rank Beta - BRF)

• Resultado Empírico: As stopwords, quando isoladas e reordenadas, não seguem a Lei de Zipf. Seus gráficos de frequência-rank são perfeitamente ajustados pela Função de Rank Beta (BRF):
  $$T(r) = c \frac{(r_{max} + 1 - r)^\beta}{r^\alpha}$$
• Validação: O modelo foi validado em quatro combinações de textos e listas de stopwords, mostrando que a BRF se ajusta melhor que a Lei de Zipf ou a função de Mandelbrot.

B. Distribuição das Não-Stopwords (Função Quadrática)

• Resultado Empírico: As palavras de conteúdo (não-stopwords) também desviam da Lei de Zipf. O melhor ajuste encontrado foi uma função quadrática no espaço log-log:
  $$\log(T) = c' - \alpha \log(r) - \kappa (\log(r))^2$$
• Desempenho: A função quadrática superou a Lei de Zipf, a BRF e a função de Mandelbrot em todos os casos testados (maior $R^2$ ajustado).

C. Derivação Analítica e Mecanismo de Seleção

• Prova Teórica: Os autores provaram analiticamente que, se o conjunto original segue a Lei de Zipf e a seleção de um subconjunto (stopwords) segue a probabilidade de Hill descrita, o resultado matemático inevitável para o subconjunto é a distribuição BRF.
• Explicação para Não-Stopwords: O modelo também explica a forma quadrática para as não-stopwords. No início da distribuição (cabeça), a relação é uma lei de potência com um expoente diferente, e na cauda, retorna a uma lei de potência padrão. A função quadrática em escala log-log descreve naturalmente essa transição suave entre dois regimes de potência.

D. Validação Independente

• Utilizando 30 livros independentes e a lista Snowball, os autores estimaram diretamente os parâmetros da função de probabilidade de seleção ($r_{mid} \approx 75$ e $\gamma \approx 1.78$), confirmando que o modelo de seleção de subconjuntos é robusto e não dependente de um único corpus ou lista de stopwords.

4. Significado e Implicações

• Revisão da Lei de Zipf: O trabalho demonstra que a Lei de Zipf é uma propriedade do conjunto global de palavras, mas não se mantém necessariamente para subconjuntos específicos definidos semanticamente (como stopwords). A "curvatura" observada em gráficos de rank-frequência não é apenas um erro de ajuste, mas uma assinatura estatística do processo de seleção.
• Mecanismo de Formação: O estudo identifica a seleção de subconjuntos baseada em rank como um mecanismo fundamental que transforma distribuições de lei de potência em distribuições Beta Rank. Isso oferece uma explicação teórica para fenômenos observados em outras áreas (como genética e mobilidade humana) onde distribuições BRF aparecem.
• Aplicações em PLN: Compreender que stopwords seguem uma distribuição BRF e não-stopwords uma distribuição quadrática pode melhorar algoritmos de extração de características, modelagem de tópicos e análise estilométrica, permitindo tratamentos estatísticos mais precisos para diferentes classes de palavras.
• Implicações para Línguas Asiáticas: Os autores sugerem que a não conformidade com a Lei de Zipf em caracteres chineses pode ser explicada por um processo similar de seleção de subconjuntos devido à segmentação de palavras (tokenização), onde caracteres individuais podem atuar como um subconjunto de palavras de maior frequência.

Em suma, o artigo estabelece que a distribuição de stopwords é um exemplo clássico de como a seleção de subconjuntos de uma distribuição de lei de potência gera uma nova distribuição universal (BRF), validada tanto empiricamente quanto analiticamente.