Non-Zipfian Distribution of Stopwords and Subset Selection Models

Este artículo propone y valida un modelo de selección de palabras vacías basado en una función de Hill que explica cómo estas siguen una distribución Beta Rank Function, mientras que las palabras no vacías se ajustan mejor a una función cuadrática, todo ello partiendo de una lista completa que obedece la ley de Zipf.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una investigación detectivesca sobre las palabras más comunes de un idioma, pero con un giro inesperado. Aquí te explico de qué trata, usando analogías sencillas y divertidas.

🕵️‍♂️ El Caso de las Palabras "Aburridas" (Stopwords)

Imagina que tienes una biblioteca gigante llena de libros (como Moby Dick o una colección de noticias). Si haces una lista de todas las palabras que aparecen, ordenadas de la más usada a la menos usada, descubres algo fascinante: las palabras más comunes son, en su mayoría, "palabras vacías" o stopwords.

• ¿Qué son? Son palabras como "el", "la", "y", "de", "en", "pero". No te dicen mucho sobre el tema del libro, pero son el pegamento que mantiene la oración unida.
• La Regla de Oro (Ley de Zipf): Para todas las palabras de un idioma, existe una regla famosa llamada Ley de Zipf. Imagina una escalera muy recta y empinada. Si subes un escalón (bajas en la lista de popularidad), la cantidad de veces que aparece la palabra cae de forma muy predecible. Es como una línea recta perfecta en un gráfico.

📉 El Misterio: ¿Por qué las palabras "aburridas" no siguen la regla?

Los autores del estudio (Wentian Li y Oscar Fontanelli) se preguntaron: "Si tomamos solo las palabras 'aburridas' (stopwords) y hacemos nuestra propia lista para ellas, ¿seguirán esa línea recta perfecta de Zipf?".

La sorpresa: ¡No! Cuando miran solo a las stopwords, la línea recta se dobla. Se convierte en una curva suave, como una montaña rusa que empieza plana y luego cae. A esta curva la llaman Función de Clasificación Beta (BRF).

Es como si, en una carrera de coches, los coches más rápidos (las palabras comunes) mantuvieran un ritmo constante, pero si solo miramos a los coches de la categoría "económica", su velocidad cae de forma diferente.

🧠 La Explicación: El Modelo del "Filtro de Selección"

¿Por qué pasa esto? Los autores proponen una idea genial: Seleccionar stopwords es como pasar un tamiz o un filtro.

Imagina que tienes una pila de arena (todas las palabras) y quieres separar solo los granos de oro (las stopwords).

1. El Filtro Inteligente: No es un filtro aleatorio. Es un filtro que tiene una "regla de probabilidad".
   • Las palabras muy populares (rango 1, 2, 3...) tienen una probabilidad muy alta de ser stopwords.
   • A medida que bajas en la lista (palabras menos comunes), la probabilidad de que sean stopwords disminuye, pero no de golpe, sino de forma suave y gradual.
2. La Analogía de la Colina: Imagina una colina. Al principio (las palabras más comunes), la colina es muy alta y casi todos los granos caen en la canasta de stopwords. A medida que subes la colina (palabras menos comunes), la pendiente se vuelve más suave y menos granos caen.
3. El Resultado: Al quitar las palabras que no son stopwords, la lista de stopwords que queda se "comprime". Las palabras que antes estaban en el puesto 1000 ahora están en el puesto 50. Este proceso de comprimir y reordenar es lo que crea esa curva suave (BRF) en lugar de la línea recta.

🔄 ¿Qué pasa con las palabras "interesantes"?

Si quitamos las stopwords, nos quedamos con las palabras "de contenido" (sustantivos, verbos importantes como "ballena", "amor", "correr").

• El estudio descubrió que estas palabras tampoco siguen la línea recta perfecta de Zipf.
• Su curva es aún más extraña: se parece a una parábola (una curva en forma de U o de arco).
• Analogía: Si las stopwords son el "pegamento" que sigue una regla suave, las palabras importantes son como los "ladrillos" de un edificio. Su distribución es más compleja y depende de qué tan "especiales" o "raras" sean en el contexto de ese libro en particular.

💡 ¿Por qué nos importa esto?

1. Para los Computadores (IA): Hoy en día, las IAs (como los chatbots) leen todo. Antes, los programadores borraban las stopwords porque pensaban que no servían. Ahora sabemos que tienen una estructura matemática muy específica. Entender esta curva ayuda a las máquinas a entender mejor el lenguaje humano.
2. Para la Ciencia: Nos enseña que cuando tomamos un "subgrupo" de algo grande (como solo las palabras comunes), las reglas matemáticas cambian. No puedes simplemente esperar que la parte pequeña se comporte igual que el todo.

En resumen 🌟

El papel nos dice que el lenguaje es como un ecosistema:

• Todas las palabras siguen una regla de escalera recta (Zipf).
• Las palabras comunes (Stopwords) son un subgrupo seleccionado por un "filtro suave" que crea una curva elegante (Beta).
• Las palabras importantes tienen su propia forma de curva, más compleja.

Los autores nos muestran que, incluso en las cosas más simples como las palabras "aburridas", hay una belleza matemática oculta que explica cómo funciona nuestro lenguaje. ¡Es como descubrir que el pegamento de la vida tiene su propia canción! 🎶📚

Resumen técnico

Resumen Técnico: Distribución No-Zipfiana de Stopwords y Modelos de Selección de Subconjuntos

1. Planteamiento del Problema

En el procesamiento del lenguaje natural (NLP) y la lingüística cuantitativa, las palabras vacías (stopwords) son términos que aportan poca información semántica (artículos, preposiciones, pronombres, etc.) y suelen filtrarse en tareas de análisis de texto.

• El contexto: Es bien conocido que la distribución de frecuencia de todas las palabras en un texto sigue la Ley de Zipf, una relación de ley de potencias donde la frecuencia $T$ es inversamente proporcional al rango $r$ ($T \propto r^{-\alpha}$, con $\alpha \approx 1$).
• La pregunta central: Si las palabras vacías son un subconjunto de todas las palabras, ¿su distribución de frecuencia-rango también sigue la Ley de Zipf?
• La hipótesis: Los autores proponen que, debido a la naturaleza de cómo se seleccionan estas palabras dentro del conjunto total, su distribución de rango-frecuencia desvía de la Ley de Zipf y sigue mejor una Función de Rango Beta (BRF). Además, el subconjunto restante (palabras no vacías) tampoco sigue una ley de potencias simple, sino una función cuadrática en escala log-log.

2. Metodología

Los autores emplearon un enfoque combinado de análisis empírico de datos y derivación analítica:

• Datos:
  • Corpus: Se utilizaron dos fuentes principales: el Brown Corpus (>1.1 millones de tokens) y la novela Moby Dick (>210,000 tokens). Para la validación, se usaron 30 libros adicionales de Project Gutenberg.
  • Listas de Stopwords: Se compararon tres listas populares:
    1. NLTK (123 palabras en formas no contraídas).
    2. spaCy (305 palabras).
    3. Snowball (175 palabras, usada para validación independiente).
• Análisis de Ajuste:
  • Se graficaron las curvas de rango-frecuencia en escala log-log.
  • Se probaron cuatro funciones de ajuste: Ley de Zipf (potencia pura), corrección cuadrática, función de rango Beta (BRF) y función de Mandelbrot.
  • Se utilizó un muestreo uniforme en escala logarítmica para evitar el sesgo hacia la "cola" de la distribución (palabras raras) y dar mejor peso a la "cabeza" (palabras frecuentes).
• Modelado Teórico:
  • Se propuso un modelo de selección de subconjuntos. La probabilidad de que una palabra de rango $r$ sea seleccionada como stopword se modela mediante una función de Hill decreciente:
    $$P(\text{stopword})_r = \frac{1}{1 + (r/r_{mid})^\gamma}$$
    Donde $r_{mid}$ es el rango donde la probabilidad es 0.5 y $\gamma$ es el coeficiente de Hill.
  • Se derivaron analíticamente las consecuencias de esta selección sobre la distribución de rango-frecuencia del subconjunto seleccionado y del subconjunto restante.

3. Contribuciones Clave

1. Identificación de la Distribución BRF para Stopwords: Demostraron empíricamente que la distribución de rango-frecuencia de las palabras vacías no es una ley de potencias (Zipf), sino que se ajusta perfectamente a la Función de Rango Beta (BRF).
2. Modelo de Selección de Subconjuntos: Propusieron un mecanismo teórico donde la selección de palabras vacías no es aleatoria, sino que depende de su rango original mediante una función logística (Hill). Esto explica matemáticamente por qué la curva se "dobla" de una línea recta (Zipf) a una curva (BRF).
3. Caracterización de las Palabras No Vacías: Descubrieron que las palabras que no son stopwords (el resto del vocabulario) tampoco siguen la Ley de Zipf. Su mejor ajuste es una función cuadrática en el espacio log-log ($\log(T) \approx c' - \alpha \log(r) - \kappa (\log(r))^2$), lo que indica una transición entre diferentes regímenes de ley de potencias.
4. Validación Independiente: El modelo de probabilidad de selección fue validado utilizando una lista de stopwords diferente (Snowball) y un conjunto de textos independiente (30 libros), confirmando la robustez de los parámetros estimados ($r_{mid} \approx 75$, $\gamma \approx 1.78$).

4. Resultados Principales

• Ajuste Empírico:
  • En los cuatro casos de prueba (dos textos $\times$ dos listas de stopwords), la BRF superó significativamente a la Ley de Zipf y a otras funciones para describir la distribución de las palabras vacías.
  • Para las palabras no vacías, la función cuadrática obtuvo los mejores coeficientes de determinación ($R^2 > 0.99$), superando a la BRF, Mandelbrot y Zipf.
• Parámetros del Modelo:
  • La probabilidad de selección de stopwords cae drásticamente a medida que aumenta el rango de la palabra en el texto original.
  • La relación analítica derivada muestra que si el conjunto completo sigue Zipf ($T \propto r^{-\alpha}$) y se aplica la selección de Hill, el subconjunto resultante sigue una BRF con parámetros dependientes de $\gamma$ y $\alpha$.
• Simulación:
  • Se generaron datos sintéticos aplicando el modelo de selección a un conjunto Zipfiano. Los resultados simulados replicaron fielmente las curvas observadas en los datos reales, confirmando que el mecanismo de selección de subconjuntos es suficiente para explicar la desviación de Zipf.

5. Significado e Implicaciones

• Lingüística Cuantitativa: El trabajo desafía la suposición generalizada de que cualquier subconjunto de un corpus que sigue la Ley de Zipf también la seguirá. Muestra que la estructura interna de los stopwords tiene una dinámica estadística distinta.
• Procesamiento de Lenguaje Natural (NLP): Comprender la distribución exacta de las stopwords es crucial para tareas de estilometría, atribución de autoría y análisis de sentimientos, donde el filtrado de estas palabras puede alterar las propiedades estadísticas del texto de maneras no lineales.
• Teoría de Distribuciones: Proporciona un mecanismo físico/matemático (selección de subconjuntos basada en rango) para la aparición de distribuciones BRF, que son comunes en diversos sistemas complejos (biológicos, económicos, lingüísticos).
• Explicación de la Curvatura: Ofrece una explicación unificada para la curvatura observada en las distribuciones de frecuencia de caracteres chinos y otros sistemas donde la segmentación de palabras puede verse como un proceso de selección de subconjuntos.

En conclusión, el artículo establece que las stopwords forman un subconjunto estadísticamente distinto gobernado por una función de Hill de selección, lo que transforma la ley de potencias original en una distribución Beta Rank Function, mientras que el vocabulario restante sigue una dinámica cuadrática compleja.