Rethinking Indic AI from a Lens of Cultural Heritage Preservation

Resumen Técnico: Replanteando la IA Indígena desde la Lente de la Preservación del Patrimonio Cultural

Planteamiento del Problema
El artículo aborda la naturaleza de doble filo de la Inteligencia Artificial (IA) en el subcontinente indio. Si bien la IA ofrece potencial para la inclusión y el salto de infraestructura, los modelos de lenguaje extensos (LLM) actuales corren el riesgo de una "homogeneización algorítmica". Esto ocurre porque los modelos convencionales son entrenados con datos que representan desproporcionadamente visiones del mundo urbanas y centradas en el inglés, lo que conduce a la erradicación de la inmensa diversidad lingüística y hermenéutica de la región. El problema central es que los sistemas actuales de PLN (Procesamiento de Lenguaje Natural) índicos suelen fallar al capturar las complejidades estructurales únicas de las lenguas de la India (como la rica morfología, el orden de palabras libre y los guiones complejos) y, lo que es más crítico, no logran preservar las distintas visiones del mundo culturales y la "pluralidad hermenéutica" inherentes a estas lenguas. Esto resulta en modelos que funcionan deficientemente en dialectos de bajos recursos, exhiben sesgos contra grupos subrepresentados y producen resultados que carecen de matices culturales.

Metodología y Contexto Histórico
Los autores realizan un estudio longitudinal del PLN índico, trazando su evolución a través de tres paradigros distintos:

1. Enfoques Basados en Reglas: El trabajo temprano dependía de reglas lingüísticas artesanales y marcos gramaticales paninienses (por ejemplo, Astadhyayi). Estos sistemas utilizaban conceptos como Kaaraka (roles semánticos) y Vibhakti (marcadores de caso) para gestionar el orden de palabras libre y la morfología compleja. Las iniciativas clave incluyeron sistemas de traducción automática (por ejemplo, Anusaaraka, Anglabharti) y marcos de análisis de dependencia que trataban las lenguas de la India como aglutinantes y morfológicamente ricas.
2. PLN Estadístico y Basado en Corpus: Esta fase se desplazó hacia modelos estadísticos (HMM, MEMM) y Traducción Automática Estadística (SMT). La investigación se centró en la creación de corpus paralelos (por ejemplo, ILCI) y en el aprovechamiento de las características lingüísticas compartidas entre las lenguas de la India para mejorar la traducción y el análisis sintáctico. Sin embargo, estos métodos a menudo lucharon contra la escala masiva de la variación morfológica y la diversidad dialectal.
3. Aprendizaje Profundo y Modelos Fundacionales: La era actual utiliza arquitecturas Transformer y embeddings preentrenados. El artículo revisa modelos como IndicBERT, MuRIL e IndicTrans2. Un hallazgo metodológico crítico presentado es el cambio de la derivación (stemming) explícita basada en reglas hacia la "derivación implícita" mediante la tokenización de subpalabras (por ejemplo, SentencePiece, Byte Pair Encoding). Los autores destacan que, si bien existen modelos multilingües (como mBERT), el preentrenamiento específico para el idioma (por ejemplo, BERT-Te para el telugu) o los modelos diseñados específicamente para los guiones índicos y el código mixto (como MuRIL) suelen superar a las bases multilingües generales en tareas morfológicas.

Desafíos Clave Identificados
El artículo detalla cuatro cuellos de botella técnicos y sociolingüísticos primarios:

• Morfología y Gramática Complejas: Las lenguas índicas son altamente inflexivas y aglutinantes. Características como el Sandhi (cambios fonológicos en los límites de las palabras) y el Samaasa (composición) oscurecen los límites de las palabras, dificultando la tokenización y la segmentación. El orden de palabras libre, gobernado por relaciones Kaaraka en lugar de una sintaxis fija, desafía el modelado de secuencias estándar.
• Diglosia: Existe una breforma brecha significativa entre la variedad formal/literaria de una lengua (utilizada en los corpus de entrenamiento) y los dialectos coloquiales/hablados utilizados por la mayoría de la población. Los modelos entrenados con datos formales suelen fallar al generalizar a dialectos o al habla de código mixto (code-mixed).
• Escasez de Recursos: A pesar de la población de la región, existe una grave falta de datos digitales de alta calidad y etiquetados para las lenguas y dialectos de bajos recursos. Los conjuntos de datos existentes suelen estar dominados por el inglés o contextos urbanos, lo que conduce a un desempeño deficiente para las comunidades rurales y minoritarias.
• Ineficiencias de la Tokenización: Los tokenizadores estándar diseñados para alfabetos latinos suelen fragmentar las palabras índicas en subpalabras sin sentido, lo que aumenta la longitud de la secuencia, el costo computacional y la latencia, además de degradar la comprensión semántica.

Solución Propuesta: Sensibilidad Cultural (Culture Sensing)
Para abordar la pérdida de representación cultural, los autores proponen una nueva dirección de investigación denominada "Sensibilidad Cultural" (Culture Sensing). Este marco reimagina la IA basada en el razonamiento hermenéutico.

• Definición: La Sensibilidad Cultural busca integrar las experiencias vividas, las tradiciones orales y las diversas visiones del mundo de las comunidades indígenas y rurales en los modelos de IA. Se mueve más allá de la mera generación de texto para comprender el contexto cultural subyacente y los sistemas de valores.
• Implementación: Los autores demuestran esto a través de dos aplicaciones:
  1. Graama Kannada: Un sistema de búsqueda de audio que utiliza ASR (Reconocimiento Automático del Habla) y búsqueda de palabras clave difusa sobre un corpus de transmisiones de radio comunitaria rural, diseñado para manejar el habla ruidosa y dialectal.
  2. Parichaya: Un sistema de gestión para un corpus de audio coloquial sobre el cultivo de sándalo, que cuenta con análisis de palabra clave en contexto (KWIC) e interfaces de respuesta de preguntas para extraer conocimientos del habla no guionizada.
• Arquitectura: El flujo de trabajo propuesto implica convertir el habla oral en texto mediante ASR, seguido de tareas de PLN (búsqueda de palabras clave, NER) y Generación Aumentada por Recuperación (RAG) para comparar las visiones del mundo de las comunidades frente a las narrativas dominantes.

Resultados y Hallazgos

• Brechas de Desempeño: El estudio revela que, aunque los modelos fundacionales han mejorado, todavía luchan con tareas morfológicas finas (por ejemplo, etiquetado de género) en comparación con los modelos monolingües específicos de cada lengua.
• Impacto de la Tokenización: Los estudios citados muestran que aumentar el tamaño del vocabulario y utilizar tokenizadores específicos del idioma (como los de MuRIL) reduce significamente la "fertilidad" (el número de subpalabras por palabra), lo que conduce a un mejor desempeño y menor latencia.
• Homogeneización Cultural: El artículo señala que los LLM actuales tienden a alinearse con las normas occidentales y los supuestos culturales dominantes, a menudo borrando los marcadores sociolingüísticos y los matices dialectales.
• Efectividad de la Sensibilidad Cultural: Las aplicaciones piloto demuestran que es factible construir sistemas que preserven y hagan buscables los conocimientos orales y dialectales que, de otro modo, quedarían excluidos de los archivos digitales principales.

Significancia y Reivindicaciones
El artículo sostiene que el rápido avance del PLN índico debe ir acompañado de un esfuerzo consciente para preservar la "diversidad hermenéutica". Los autores argumentan que la eficiencia técnica por sí sola es insuficiente; los modelos deben ser inclusivos de las visiones del mundo pluralistas de la región para evitar el sesgo algorítmico y la erosión cultural.

• Dirección de Investigación: El documento posiciona la "Sensibilidad Cultural" como una dirección de investigación crítica, llamando a la recolección de datos de fuentes no convencionales (radios comunitarias, historias orales), la adaptación de modelos a los dialectos y la validación ética con intervención humana (human-in-the-loop).
• Objetivo: El objetivo final es desarrollar modelos fundacionales índicos robustos y culturalmente inclusivos que no solo traduzcan o generen texto, sino que participen activamente en la preservación de la "experiencia vivida" y los sistemas de conocimiento únicos de las diversas comunidades del subcontinente indio. Los autores enfatizan que esto no es solo un desafío técnico, sino un paso necesario para prevenir la homogeneización del patrimonio cultural de una civilización.