Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks
Este artículo detalla el desarrollo de los corpus de árboles (treebanks) de cantonés e irlandés dentro del Proyecto de Gramática Paralela, al tiempo que evalúa la utilidad de los modelos de lenguaje extensos (LLM) multilingües en la ingeniería gramatical, encontrando que, si bien estos modelos ofrecen un valor limitado para sugerir análisis alternativos, actualmente carecen de las capacidades de abstracción translingüística necesarias para reemplazar la verificación lingüística dirigida por expertos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina intentar construir un traductor universal para la mente humana, no solo para las palabras, sino para las reglas profundas e invisibles que hacen que las oraciones funcionen. Este es el mundo de la ingeniería de gramática. Piensa en ello como ser un arquitecto que no solo dibuja una casa, sino que escribe el código real que le dice a un robot cómo construirla, ladrillo a ladrillo, asegurando que el techo no se caiga. Para hacer esto, los lingüistas utilizan mapas especiales llamados corpus de árboles (treebanks). Si una oración es un edificio, un corpus de árboles es el plano que muestra exactamente cómo cada palabra se conecta con cada otra, capturando quién le hizo qué a quién. Pero aquí está la parte difícil: cuando intentas construir estos planos para dos idiomas muy diferentes —como uno que fluye como un río y otro que salta como una rana— necesitas un plan maestro que mantenga la estructura central igual mientras permite que los detalles superficiales difieran. Este es el desafío de la gramática paralela: asegurar que el "alma" de la oración sea idéntica entre idiomas, incluso si las "ropas" que viste son totalmente diferentes.
Ahora, entra el nuevo integrante del grupo: los Modelos de Lenguaje de Gran Escala (LLM). Estos son los superinteligentes chatbots de IA que han leído casi todo en internet. Son excelentes adivinando la siguiente palabra en una oración, pero ¿pueden realmente entender las reglas arquitectónicas profundas de la gramática? ¿Pueden ayudar a los arquitectos humanos a construir estos planos más rápido, o son solo adivinadores sofisticados que podrían accidentalmente construir una casa con una puerta en el techo? Este artículo hace exactamente esa pregunta, utilizando dos idiomas muy distintos: el cantonés (un idioma del sur de China con muy pocos finales de palabra) y el irlandés (un idioma celta con muchos finales de palabra y un orden de palabras diferente). Los investigadores querían ver si una IA podía traducir entre estos dos y dibujar los planos gramaticales correctos para ellos, actuando como un asistente útil para los expertos humanos.
El Experimento: La IA como Aprendiz de Gramática
Los investigadores organizaron una prueba de manejo con un modelo de IA específico (gpt-oss-120b de OpenAI) y le entregaron una pila de 50 oraciones. Estas oraciones eran como una "prueba de licencia de conducir" para la gramática, cubriendo desde declaraciones simples hasta oraciones complejas con cláusulas relativas y estructuras verbales complicadas. Le pidieron a la IA que realizara dos tareas principales:
- Traducir: Convertir una oración de cantonés a irlandés, o viceversa.
- Dibujar el Plano: Crear un mapa gramatical formal (llamado f-structure) que muestre las relaciones profundas entre las palabras, ignorando el orden superficial.
Intentaron esto de diferentes maneras: pidiéndole a la IA en inglés, pidiéndole en el idioma objetivo y pidiéndole que realizara la traducción y el dibujo al mismo tiempo.
Los Resultados: Una Mezcla de Brillantez y Confusión
Los hallazgos fueron un poco como observar a un aprendiz talentoso pero confundido. La IA demostró que a veces podía ver el panorama general, pero a menudo tropezaba con los detalles.
Problemas de Traducción
Cuando se trataba de traducir, la IA tuvo grandes dificultades. Era como un estudiante que conoce el vocabulario pero no deja de mezclar los dialectos.
- La confusión con el "mandarín": Cuando se le pidió que hablara cantonés, la IA a menudo se deslizaba hacia el mandarín. Por ejemplo, usó la palabra hǎo bàng (genial) en lugar de la correcta en cantonés hóu lèk. Es como pedirle a alguien que hable con acento escocés y que accidentalmente use jerga estadounidense.
- Las palabras "inventadas": Al traducir al irlandés, la IA no solo cometía errores; inventaba palabras. La palabra para "tractor" (tarracóir) a veces se convertía en "lona", "robber", "conejo" o incluso "ladrón". Parecía estar adivinando basándose en cómo sonaba la palabra o en qué contexto estaba, en lugar de conocer el significado real.
- La tasa de éxito: Las cifras fueron desalentadoras. Cuando se le pidió traducir de irlandés a cantonés, solo entre el 22% y el 24% de las traducciones eran tanto precisas en su significado como naturales en su sonido. De cantonés a irlandés, era incluso menor, con solo un 6% a 8% de las traducciones dando en el clavo. Curiosamente, cambiar el idioma de las instrucciones (el "prompt") no ayudó en absoluto; la IA se desempeñó igual de mal ya fuera que se le preguntara en inglés o en el idioma objetivo.
El Dibujo del Plano
Cuando se trataba de dibujar los planos gramaticales (las f-structures), la IA lo hizo ligeramente mejor, pero aún tiene un largo camino por recorrer.
- El inglés fue fácil: En oraciones en inglés, la IA lo hizo bien (calificado como "Excelente" o "Bueno") aproximadamente el 46% de las veces.
- El cantonés estuvo bien: Para el cantonés, logró un análisis estructural correcto el 34% de las veces.
- El irlandés fue difícil: Para el irlandés, la tasa de éxito cayó a solo el 20%. Los investigadores sospechan que esto se debe a que el irlandés tiene finales de palabra más complejos y un orden de oraciones diferente (Verbo-Sujeto-Objeto) con el que la IA no estaba tan familiarizada.
- El desafío del plano "compartido": La tarea más difícil fue pedirle a la IA que encontrara la estructura profunda compartida entre el cantonés y el irlandés. Aquí, la IA falló la mayor parte de las veces, con el 44% de los intentos de cantonés a irlandés y el 38% de los de irlandés a cantonés siendo calificados como "Malos". Le costó abstraer las reglas comunes mientras ignoraba las diferencias superficiales.
Lo que la IA hizo mal (y lo que hizo bien)
La IA no fue del todo inútil. Logró capturar las relaciones básicas de "quién hizo qué" en aproximadamente el 70% de los casos, incluso si los detalles eran desordenados. A veces sugería formas alternativas interesantes de ver una oración, lo que podría despertar una idea para un lingüista humano.
Sin embargo, los errores fueron reveladores.
- Estereotipos: La IA asumió que los "granjeros" y los "conductores" siempre eran hombres, asignándoles etiquetas de género masculino aunque ni el cantonés ni el irlandés requieren género para estas palabras. Estaba recurriendo a su propio "conocimiento del mundo" en lugar de a las reglas del idioma.
- Conceptos confusos: A menudo confundía diferentes tipos de estructuras de oraciones, tratando una cláusula relativa (como "el coche que compré") como si fuera un objeto directo, lo que demuestra que no comprendía totalmente las diferencias teóricas.
- Alucinaciones: La IA inventó palabras y significados, como traducir "bañado en el río" como "se ahogó en el río", cambiando completamente la historia.
Conclusión
El artículo concluye que, si bien estos modelos de IA son herramientas poderosas, no están listos para reemplazar a los expertos humanos en la construcción de gramáticas complejas. Pueden ofrecer un "borrador" o una pista de una idea, pero no se puede confiar en ellos para que los detalles sean correctos. La IA es como un estudiante muy rápido y muy seguro de sí mismo que ha leído muchos libros, pero no ha practicado el oficio lo suficiente como para construir una casa sólida.
Los investigadores enfatizan que la experiencia humana sigue siendo esencial. Los resultados de la IA necesitan una revisión y verificación cuidadosa por parte de personas que realmente entiendan los idiomas. El estudio sugiere que hasta que los modelos de IA no sean entrenados con datos mucho más específicos y de alta calidad para estos idiomas "de bajos recursos", seguirán siendo más una curiosidad que un socio confiable en el serio trabajo de la ingeniería de gramática. El sueño de un constructor de gramática totalmente automatizado todavía está lejos, pero este experimento ayudó a mapear exactamente dónde la tecnología actual tropieza con sus propios cordones.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.