Wiktionary as a Crowdsourced Lexicon for English Dialects

El lenguaje no es un bloque único y sólido; es un paisaje vivo que cambia y se transforma dependiendo de dónde te encuentres. Una palabra que significa una cosa en Londres puede significar algo completamente distinto en Auckland, o puede que no exista en absoluto en Bombay. Durante décadas, las personas que mapean estos territorios lingüísticos han dependido de diccionarios tradicionales, libros compilados por equipos de expertos que pasan años decidiendo qué palabras son lo suficientemente importantes como para ser incluidas. Pero el mundo del lenguaje se mueve más rápido de lo que cualquier equipo de editores puede seguir el ritmo, especialmente para las muchas variedades de inglés que se hablan en todo el mundo. A medida que las computadoras y la inteligencia artificial se vuelven más comunes, surge la necesidad creciente de enseñarles cómo entender estas diferencias locales. Si una computadora no puede distinguir entre una frase neozelandesa y una estadounidense, fallará al intentar comprender a las personas que la utilizan. Esto crea un problema para la equidad en la tecnología, ya que los sistemas construidos únicamente sobre el inglés estándar suelen tener dificultades con las formas ricas y diversas en que la gente realmente habla.

Para resolver esto, los investigadores están buscando nuevas formas de recopilar datos lingüísticos que sean vastos y actualizados. Una fuente prometedora es Wiktionary, un diccionario gratuito en línea que cualquiera puede editar. A diferencia de los libros tradicionales, que son escritos por un pequeño grupo de expertos remunerados, Wiktionary es un proyecto de colaboración masiva donde voluntarios de todo el mundo añaden entradas, definiciones y ejemplos. La pregunta que los investigadores se plantearon fue simple pero difícil: ¿Puede este diccionario abierto, construido por la comunidad, servir como un mapa confiable para las muchas variantes del inglés? Específicamente, querían saber si Wiktionary cubría las palabras regionales tan bien como el famoso Oxford English Dictionary, y si las palabras encontradas allí aparecían realmente en las conversaciones reales que la gente mantiene en las redes sociales.

Los investigadores comenzaron comparando el contenido de Wiktionary contra el Oxford English Dictionary para doce variedades nacionales diferentes de inglés, que iban desde el conocido inglés británico y estadounidense hasta variedades de la India, Kenia y Filipinas. Encontraron que, si bien el diccionario tradicional todavía mantiene una ligera ventaja en tamaño para el inglés estadounidense y británico estándar, Wiktionary en realidad cubre más terreno para muchas otras regiones. Para variedades como el inglés canadiense, irlandés y australiano, Wiktionary contenía significativamente más entradas que el diccionario tradicional. La diferencia fue aún más sorprendente para el inglés hablado en países fuera del "círculo interno" tradicional de las naciones angloparlantes. Mientras que el diccionario tradicional no tenía ninguna entrada para el inglés de Kenia o Pakistán, Wiktionary tenía cientos de entradas para estas variedades. Esto sugiere que el modelo impulsado por la comunidad es notablemente bueno para capturar palabras que los editores profesionales podrían pasar por alto o que aún no han tenido tiempo de incluir.

Para probar si estas palabras se estaban utilizando realmente en el mundo real, el equipo recurrió a las redes sociales. Examinaron millones de publicaciones y comentarios de comunidades específicas de cada país en Reddit, un foro en línea popular. Trataron estas comunidades digitales como un sustituto de la ubicación geográfica, asumiendo que las personas que publicaban en una comunidad de Nueva Zelanda probablemente estaban usando el inglés de Nueva Zelanda. Luego, verificaron si las palabras listadas en Wiktionary para cada país aparecían con frecuencia en la comunidad en línea correspondiente. Los resultados mostraron una fuerte conexión. Al observar las publicaciones principales que la gente escribía, las palabras encontradas en Wiktionary aparecían exactamente donde se esperaba que estuvieran. Por ejemplo, las palabras específicas de Nueva Zelanda aparecían con mayor frecuencia en la comunidad de Nueva Zelanda, y las palabras de la India aparecían con mayor frecuencia en la comunidad de la India. Esta alineación sugiere que Wiktionario no es solo una lista de palabras, sino un reflejo de cómo la gente habla realmente en sus vidas digitales cotidianas.

Sin embargo, el estudio también reveló que el tipo de texto importa mucho. La conexión entre el diccionario y los datos de las redes sociales era muy fuerte cuando se analizaban las publicaciones principales que la gente escribía, pero se volvía mucho más débil cuando se observaban los comentarios que la gente dejaba en respuesta. En las secciones de comentarios, el lenguaje era más conversacional y a menudo estaba mezclado con palabras de otros idiomas. Por ejemplo, en la comunidad de Nueva Zelanda, algunas palabras que parecían inglés de Nueva Zelanda resultaron ser palabras comunes en tagalo, el idioma de Filipinas, porque los dos idiomas comparten algunas ortografías similares. Esto resaltó un desafío: si bien el diccionario es útil, la forma en que la gente usa el lenguaje en conversaciones rápidas e interactivas puede ser desordenada y estar influenciada por muchos factores distintos. Los investigadores encontraron que el diccionario funcionaba mejor cuando el texto era más formal o estructurado, como una publicación principal, en lugar de en el rápido intercambio de ida y vuelta de un hilo de comentarios.

El estudio también analizó de cerca cómo se forman las palabras. Compararon los tipos de palabras nuevas encontradas en Wiktionary para el inglés de Nueva Zelanda frente al diccionario tradicional. Encontraron un nivel muy alto de acuerdo en los patrones utilizados para crear estas palabras, como combinar dos palabras o cambiar ligeramente el significado de una palabra. Esto sugiere que, aunque Wiktionary es escrito por voluntarios, la forma en que construyen las entradas sigue las mismas reglas lógicas que los lingüistas profesionales. Los investigadores señalaron que Wiktionary era particularmente bueno incluyendo frases e modismos —grupos de palabras que tienen un significado específico juntas— que a menudo faltan en los diccionarios tradicionales. Esto hace que el recurso de colaboración masiva sea especialmente valioso para comprender el lado colorido y expresivo del lenguaje que los libros formales a veces dejan de lado.

En última instancia, el artículo concluye que Wiktionary es una herramienta poderosa y viable para comprender los dialectos del inglés, especialmente para regiones que han estado históricamente subrepresentadas en la tecnología del lenguaje. No reemplaza la necesidad de los diccionarios profesionales, sino que los complementa al ofrecer una visión más rápida, inclusiva y actualizada de cómo evoluciona el lenguaje. Los investigadores advierten que el uso de estos datos requiere cuidado, particularmente al tratar con conversaciones en línea donde los diferentes idiomas pueden mezclarse o donde el contexto de la conversación cambia el significado de una palabra. Pero para el objetivo de construir herramientas lingüísticas justas y precisas que funcionen para todos, no solo para la mayoría, este diccionario abierto y construido por la comunidad ofrece una pieza crucial del rompecabezas. Demuestra que cuando las personas se unen para documentar su propio lenguaje, crean un recurso que es tanto profundamente preciso como notablemente amplio.