Automatically Detecting Code-Switching Between Nigerian Pidgin English and English

En los bulliciosos paisajes multilingües de Nigeria, el lenguaje rara vez es una corriente única y estática. En cambio, es una corriente dinámica donde dos lenguas suelen fluir juntas en la misma oración. Esta práctica, conocida como alternancia de código (code-switching), ocurre cuando un hablante se desplaza con fluidez entre el inglés estándar y el inglés pidgin nigeriano, una vibrante lengua criolla utilizada por millones como un puente entre diversos grupos étnicos. Para las computadoras, que dependen de reglas rígidas y categorías claras para entender el texto, esta fluidez presenta un rompecabezas significativo. Las herramientas tradicionales a menudo luchan por determinar dónde termina una lengua y comienza la otra, especialmente cuando la segunda lengua, el pidgin, carece de una ortografía estandarizada única y varía ampliamente según la región. Sin una forma de identificar con precisión estos cambios, las computadoras no pueden procesar eficazmente las ricas conversaciones de lenguaje mixto que definen la vida diaria de millones de personas, dejando una vasta porción de la comunicación humana invisible para la tecnología digital.

Para resolver este problema, investigadores de la Universidad de Bangor se propusieron construir un nuevo tipo de mapa para estos textos de lenguaje mixto. Comenzaron reuniendo una colección masiva de escritura del mundo real, recopilando historias de treinta libros diferentes, miles de comentarios de un foro en línea y cientos de artículos de noticias. Esta mezcla diversa aseguró que capturaran todo el rango de cómo la gente habla y escribe realmente, desde la estructura formal de los reportes de noticias hasta los intercambios casuales y rápidos de los usuarios de internet. El equipo luego creó un conjunto de datos de "verdad fundamental" (ground truth), una guía de referencia cuidadosamente verificada donde expertos humanos marcaron manualmente cada punto donde el lenguaje cambió de inglés a pidgin o viceversa. Este mapa verificado por humanos sirvió como el estándar de oro contra el cual se probarían todos los modelos computacionales.

Los investigadores luego entrenaron varios tipos diferentes de programas de computadora para aprender a detectar estos cambios por su cuenta. Probaron a los sospechosos habituales en el campo de la inteligencia artificial, como los modelos de aprendizaje profundo (deep learning) que intentan imitar la forma en que los cerebros humanos procesan secuencias de palabras. También probaron clasificadores estadísticos tradicionales que buscan patrones en grupos de letras. Sin embargo, la herramienta más sorprendente y efectiva resultó ser algo bastante diferente: un modelo basado en la compresión. En términos simples, este tipo de programa trabaja aprendiendo los patrones estadísticos de cómo las letras se siguen unas a otras en un idioma específico, de forma muy similar a una persona que ha leído un libro tantas veces que puede predecir la siguiente palabra sin pensar. Los investigadores utilizaron un método específico llamado Predicción por Emparejamiento Parcial (Prediction by Partial Matching), que permite a la computadora analizar el texto carácter por carácter, construyendo un mapa de probabilidad de lo que viene después basándose en el contexto inmediato.

Cuando el equipo puso a prueba estos diferentes programas contra su mapa verificado por humanos, los resultados fueron reveladores. Los modelos de aprendizaje profundo, que a menudo requieren enormes cantidades de datos para funcionar bien, tuvieron dificultades para mantener el ritmo, logrando puntuaciones de precisión menores de las esperadas. Los modelos estadísticos tradicionales funcionaron mejor, con un tipo específico de clasificador de bosque aleatorio (random forest) alcanzando una precisión del 89 por ciento. Sin embargo, los modelos basados en la compresión, que no necesitan conjuntos de datos masivos para aprender, funcionaron tan bien como los mejores modelos tradicionales, alcanzando también una precisión del 89 por ciento. Lo que hizo que estos modelos de compresión fueran particularmente impresionantes fue su velocidad y eficiencia. Mientras que otros modelos tardaban más en entrenar y procesar, los modelos de compresión podían aprender los patrones del lenguaje y luego analizar nuevo texto en solo unos segundos, requiriendo muy poca potencia de cómputo.

El estudio también descubrió detalles interesantes sobre los idiomas mismos. Al analizar el texto, los investigadores encontraron que el pidgin nigeriano tiende a usar un vocabulario más comprimido, apoyándose fuertemente en un conjunto más pequeño de palabras de alta frecuencia en comparación con el vocabulario más amplio y diverso del inglés estándar. Esta diferencia en la estructura ayudó a los modelos computacionales a distinguir entre ambos, ya que los patrones estadísticos de las secuencias de letras en el pidgin eran lo suficientemente distintos como para ser reconocidos incluso sin un diccionario masivo. Las matrices de confusión, que muestran exactamente dónde cometieron errores los modelos, revelaron que los modelos de compresión eran particularmente buenos identificando el pidgin, señalando correctamente casi el 93 por ciento de los segmentos de pidgin, aunque ocasionalmente confundían algo de inglés con pidgin.

En última instancia, esta investigación demuestra que no siempre se necesita la inteligencia artificial más compleja y ávida de datos para resolver problemas lingüísticos difíciles. Para lenguas de bajos recursos como el pidgin nigeriano, que carecen de los vastos archivos digitales disponibles para las principales lenguas del mundo, los enfoques estadísticos más simples pueden ser tan efectivos como las redes neuronales más avanzadas. Los modelos basados en la compresión demostraron ser una alternativa poderosa, rápida y eficiente, capaces de segmentar el texto de lenguaje mixto con alta precisión. Al proporcionar un nuevo conjunto de datos verificado manualmente y demostrar la viabilidad de estos modelos ligeros, los investigadores han abierto una puerta para futuras herramientas que finalmente puedan entender y procesar las ricas conversaciones de alternancia de código de millones de personas, haciendo que la tecnología digital sea más inclusiva para los hablantes de lenguas diversas y en evolución.