💬 NLP

When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models

Este artículo presenta UniLang, un marco generativo unificado que extiende los modelos de lenguaje extensos preentrenados para procesar y generar nativamente símbolos propios de las máquinas junto con el lenguaje natural, cerrando así la brecha entre el modelado lingüístico y la predicción estructurada sin requerir verbalización ni arquitecturas específicas para cada tarea.

Autores originales: Su Yan, Rakesh Iyer

Publicado 2026-08-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Su Yan, Rakesh Iyer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto paisaje de la inteligencia artificial, ha existido durante mucho tiempo una tensión silenciosa entre dos formas de describir el mundo. Por un lado se encuentra el lenguaje que hablamos, un medio fluido y rico que los humanos utilizamos para compartir historias, ideas y sentimientos. Los modelos de lenguaje extensos, los poderosos programas informáticos que pueden escribir ensayos o responder preguntas, están entrenados en este lenguaje humano. Ellos entienden el mundo a través de las palabras. Por el otro lado se encuentra el lenguaje de las máquinas, un sistema rígido y compacto de códigos y números. Las computadoras a menudo almacenan información compleja, como una película específica o un fallo judicial, no como un párrafo de texto, sino como una cadena corta y eficiente de símbolos. Estos símbolos son perfectos para el cálculo y el almacenamiento, pero son invisibles para los modelos de lenguaje que dependen de las palabras humanas. Durante años, los investigadores han tenido que elegir entre estos dos mundos. Para que una computadora entendiera un código de máquina, a menudo tenían que traducirlo primero en una oración, lo que podía perder detalles importantes. O bien, tenían que construir sistemas especiales y separados solo para los códigos, dejando atrás el poderoso conocimiento de los modelos de lenguaje.

Un equipo de investigadores de Google ha propuesto ahora una forma de unir estos dos mundos sin forzar una traducción. Introdujeron un nuevo marco llamado UniLang, que permite a un modelo de lenguaje estándar tratar los códigos de máquina como si fueran palabras. En lugar de convertir un símbolo de máquina en una frase como "una película de 1999", el modelo aprende a generar el propio símbolo como una parte directa de su salida, tal como generaría la palabra "película". Los investigadores probaron esta idea en dos problemas muy diferentes: predecir qué podría ver una persona a continuación basándose en su historial, y encontrar la oración exacta en un caso judicial pasado que respalde un nuevo argumento legal. En ambos casos, el nuevo método funcionó mejor que los sistemas existentes que dependían puramente del texto o puramente de los códigos. Al permitir que el modelo hable tanto el lenguaje humano como los símbolos de máquina al mismo tiempo, los investigadores demostraron que la inteligencia artificial puede manejar datos estructurados con mayor precisión y, al mismo tiempo, utilizar el vasto conocimiento que aprendió leyendo libros y sitios web humanos.

El núcleo de este trabajo reside en cómo los investigadores enseñaron a la computadora a ver estos símbolos de máquina. Imagine una biblioteca donde cada libro tiene un código de barras único. Durante mucho tiempo, un bibliotecario que solo habla inglés no podía entender el código de barras; tendría que leer el título en la portada para saber de qué libro se trataba. El nuevo método le da al bibliotecario un nuevo conjunto de herramientas. Toman el código de barras y le enseñan al bibliotecario que este patrón específico de líneas significa "el libro sobre viajes espaciales", no mediante la lectura de una descripción, sino aprendiendo la conexión directa entre el patrón y el objeto. En el estudio, los investigadores tomaron miles de artículos, como películas o casos legales, y los convirtieron en estos códigos de máquina compactos. Luego, utilizaron un proceso de aprendizaje para alinear estos códigos con las descripciones textuales de los mismos artículos. Esto significó que cuando la computadora veía el código de una película específica, la entendía de la misma manera en que entendía las palabras "película de acción de la década de 1980".

Una vez que la computadora aprendió este nuevo vocabulario, los investigadores le pidieron que realizara tareas que normalmente requieren dos tipos de pensamiento diferentes. En la primera prueba, la computadora actuó como un motor de recomendación. Se le mostró una lista de películas que una persona había visto, descritas por sus títulos y géneros en inglés normal, seguidas de los códigos de máquina de esas películas. La computadora tenía entonces que predecir la siguiente película. En lugar de adivinar un título, generó el código de máquina de la siguiente película, junto con su año y género. Este enfoque mantuvo intacta la estructura precisa de los datos. En la segunda prueba, la computadora actuó como un investigador legal. Se le dio un párrafo de texto de un nuevo caso judicial y se le pidió que encontrara la oración específica de un caso antiguo que respaldara el argumento. Nuevamente, la computadora no solo buscó palabras clave; generó el código de máquina que representaba el párrafo exacto del caso antiguo que coincidía con el contexto.

Los resultados de estas pruebas fueron claros y consistentes. En la tarea de recomendación de películas, el nuevo método superó significamente a otros sistemas que intentaban resolver el problema utilizando solo texto o solo códigos. En la tarea de la base de datos de películas más grande, el nuevo enfoque mejoró la precisión para encontrar la recomendación correcta en más de un cien por ciento en comparación con algunos métodos anteriores. En la tarea legal, encontró la oración de apoyo correcta con mucha más frecuencia que los sistemas diseñados específicamente para el texto legal. Los investigadores descubrieron que la clave de este éxito no fue solo añadir los códigos, sino mantener el lenguaje humano en la mezcla. Cuando eliminaron las descripciones de texto y pidieron a la computadora que trabajara solo con los códigos, el sistema tuvo dificultades y perdió su camino. El lenguaje humano proporcionó un contexto necesario, una especie de fundamentación que ayudó a la computadora a comprender el significado detrás de los símbolos.

Este trabajo sugiere un nuevo camino para cómo la inteligencia artificial podría evolucionar. Durante mucho tiempo, el campo ha tratado el lenguaje y los datos estructurados como dominios separados, que requieren herramientas diferentes para cada uno. Los investigadores demostraron que un marco unificado puede aprender a hablar ambos lenguajes con fluidez, tratando un código de máquina y una palabra humana como socios iguales en una conversación. Esto no significa que la computadora deje de entender el lenguaje humano; más bien, expande su capacidad para interactar con el mundo digital directamente. El estudio mostró que, al integrar estos símbolos nativos de máquina en el vocabulario del modelo, el sistema podía manejar información estructurada compleja sin perder el rico conocimiento del mundo que obtuvo de la lectura de textos humanos. Los investigadores señalaron que, si bien el sistema destacó en estas tareas de predicción, no probaron si esta nueva forma de pensar afectaba la capacidad del modelo para escribir poesía o contar historias, dejando esa pregunta para exploraciones futuras.

Las implicaciones de este enfoque se extienden más allá de solo las películas o los casos judiciales. Los investigadores demostraron que el mismo marco podría aplicarse a diferentes tipos de datos estructurados sin necesidad de cambiar la arquitectura subyacente del modelo. Ya fuera la tarea de predecir el siguiente elemento en una secuencia o encontrar un pasaje específico en una vasta base de datos legal, el método seguía siendo el mismo. Esta flexibilidad sugiere que, en el futuro, los sistemas de inteligencia artificial podrían no necesitar ser construidos desde cero para cada nuevo tipo de dato. En su lugar, un marco unificado podría aprender a entender el "lenguaje" único de cualquier sistema, desde registros médicos hasta transacciones financieras, simplemente aprendiendo a generar los símbolos correctos. El estudio proporciona una prueba de concepto de que la división entre el lenguaje humano y el código de máquina puede cerrarse, permitiendo que la inteligencia artificial opere más naturalmente dentro de los entornos estructurados que impulsan gran parte de nuestro mundo moderno.

Resumen Técnico: UniLang – Un Marco Generativo Unificado para la Integración de Símbolos Nativos de Máquina

Planteamiento del Problema

Los sistemas de IA modernos representan frecuentemente entidades, comportamientos e información estructurada utilizando símbolos discretos nativos de máquina (por ejemplo, códigos cuantizados vectorialmente, IDs semánticos, códigos CIE) en lugar de lenguaje natural. Aunque estas representaciones son compactas, computacionalmente eficientes y preservan información estructural explícita, existen fuera del espacio de tokens lingüísticos de los Modelos de Lenguaje de Gran Escala (LLM) preentrenados.

Esto crea una división metodológica fundamental:

Enfoques de Verbalización: Convertir datos estructurados en descripciones de lenguaje natural permite que los LLM los procesen, pero conlleva el riesgo de oscurecer la estructura nativa, introducir ambigüedad y sacrificar la precisión a nivel de máquina.
Modelos Específicos de Tarea: Operar directamente sobre símbolos nativos de máquina preserva la estructura, pero no logra aprovechar el conocimiento lingüístico y del mundo codificado en los LLM preentrenados dentro de un espacio generativo unificado.

La limitación central es representacional: los LLM preentrenados carecen de una interfaz unificada para tratar los símbolos nativos de máquina como unidades generativas de primera clase junto con los tokens de lenguaje natural.

Metodología: El Marco de Trabajo UniLang

UniLang propone un marco generativo unificado que extiende los LLM preentrenados para modelar conjuntamente tokens de lenguaje natural y símbolos nativos de máquina bajo un único objetivo autorregresivo. El marco consta de tres componentes principales:

1. Construcción de Representaciones Nativas de Máquina

UniLang es agnóstico al mecanismo de generación específico, pero utiliza Autoencoders Variacionales Cuantizados Residualmente (RQ-VAE) en este trabajo.

Proceso: Las descripciones textuales de elementos (por ejemplo, títulos de películas, contextos legales) se codifican en embeddings densos, que luego se discretizan en una secuencia de códigos a través de múltiples niveles de cuantización ( $l=3$ ).
Desambiguación: Se añade un nivel adicional para mitigar las colisiones de códigos.
Tokenización: Se anteponen prefijos específicos de nivel a estos códigos para formar IDs Semánticos (SIDs) (por ejemplo, A11, B43). Estos SIDs, combinados con el lenguaje natural, forman un vocabulario extendido donde los tokens de máquina funcionan como unidades generativas distintas.

2. Expansión del Vocabulario y Anclaje Semántico

Para integrar estos nuevos tokens, UniLang realiza un procedimiento de anclaje contrastivo (contrastive grounding):

Expansión del Vocabulario: El vocabulario del LLM preentrenado se expande con un conjunto fijo de tokens de máquina ( $V_{ML}$ ), inicializado con embeddings aprendibles.
Alineación Contrastiva: Una pérdida contrastiva (estilo InfoNCE) alinea el embedding de una secuencia de tokens de máquina ( $z^{ML}_i$ ) con el embedding de su correspondiente descripción textual en lenguaje natural ( $z^{NL}_i$ ).
Restricción de Entrenamiento: Durante esta fase, solo se actualizan los embeddings de los tokens de máquina; los parámetros del LLM preentrenado y los embeddings de lenguaje natural permanecen congelados. Esto asegura que los nuevos símbolos estén anclados en el espacio semántico existente del modelo sin un olvido catastrófico.

3. Modelado Autorregresivo Unificado

Una vez anclados, el marco trata todos los tokens (lenguaje natural y símbolos de máquina) de manera idéntica:

Objetivo Único: El modelo predice el siguiente token en una secuencia utilizando un objetivo autorregresivo estándar.
Agnosticismo de Tarea: No se requieren cambios arquitectónicos específicos de la tarea. Las tareas se definen mediante la construcción de secuencias de entrada-salida.
Generación Estructurada: Los resultados se generan de manera campo por campo utilizando tokens delimitadores (por ejemplo, <año>, <género>, <sid>). Por ejemplo, en recomendación, el modelo genera campos de metadatos seguidos por el SID nativo de máquina, en lugar de predecir un ID bruto directamente.

Principales Contribuciones

Interfaz Representacional Unificada: El artículo formula la predicción estructurada como generación autorregresiva tipada sobre tipos de tokens heterogéneos, permitiendo que los símbolos nativos de máquina funcionen como unidades de primera clase dentro de un marco unificado que integra LLMs preentrenados.
Integración Anclada: Introduce un procedimiento de expansión de vocabulario y anclaje contrastivo que mapea los símbolos nativos de máquina en el espacio de representación del LLM, permitiendo el modelado conjunto mientras se retiene la estructura discreta.
Generalidad en Diversos Dominios: El marco se demuestra en dos tareas estructuralmente distintas —recomendación secuencial y predicción de precedentes legales— sin requerir modificaciones arquitectónicas específicas de la tarea.

Resultados Experimentales

Los autores evaluaron UniLang en seis conjuntos de datos del mundo real: tres conjuntos de datos de recomendación secuencial (Amazon Beauty, MovieLens 1M, MovieLens 20M) y tres divisiones de predicción de precedentes legales (LePaRD 10k, 20k, 50k).

Recomendación Secuencial

Líneas Base (Baselines): Comparado contra modelos discriminativos (SASRec, BERT4Rec, S3-Rec) y líneas base generativas (P5, TIGER).
Rendimiento: UniLang superó consistentemente a las fuertes líneas base. En el conjunto de datos MovieLens-20M, logró una mejora del 114.96% en Recall@5 y una mejora del 151.73% en NDCG@5 en comparación con la mejor línea base (TIGER).
Estabilidad: El análisis estadístico a través de múltiples ejecuciones confirmó la estabilidad de estas mejoras.

Predicción de Precedentes Legales

Líneas Base: Comparado contra métodos de recuperación (BM25, SBERT ajustado) y modelos de clasificación (LEGAL-BERT, DistilBERT).
Rendimiento: UniLang superó significativamente a todas las líneas base. En el conjunto de datos LePaRD 10k, logró una mejora del 49.36% en Recall@1 sobre la mejor línea base (LEGAL-BERT).
Significancia: Los resultados demuestran que el marco se generaliza a estructuras de problemas fundamentalmente diferentes (interacción de usuario cronológica frente a recuperación de pasajes semánticos) utilizando el mismo enfoque de modelado.

Estudios de Ablación

Los experimentos de ablación en MovieLens-20M revelaron:

Contexto de Lenguaje Natural: La eliminación de campos de lenguaje natural (NLRemoved) provocó una degradación del rendimiento y sobreajuste, indicando que el lenguaje natural proporciona un contexto de regularización esencial.
Estructuración: La eliminación de delimitadores tipados (NoTypeDelim) redujo el rendimiento, resaltando la importancia de la estructuración explícita para la optimación.
Anclaje (Grounding): El uso de embeddings inicializados aleatoriamente sin anclaje contrastivo (NoWarmup) resultó en un fallo total de aprendizaje (métricas de cero), probando que el pre-alineamiento de los símbolos al espacio latente del LLM es crítico.

Significancia y Reivindicaciones

El artículo afirma que UniLang proporciona una interfaz general para extender los LLM preentrenados más allá del lenguaje para modelar representaciones heterogéneas nativas de máquina.

Backbone Unificado: Demuestra que un marco generativo unificado puede reemplazar las arquitecturas específicas de tareas para diversos problemas de predicción estructurada.
Escalabilidad: A diferencia de los sistemas que requieren tokens de usuario dedicados o esquemas de hashing (que consumen un espacio de vocabulario significativo), UniLang puede representar identificadores de usuario directamente en lenguaje natural, ofreciendo una mejor escalabilidad.
Eficiencia: Al tratar los símbolos estructurados como tokens de primera clase, el marco evita la ambigüedad representacional y la pérdida de información asociadas con la verbalización de datos estructurados, mientras aprovecha el rico conocimiento del mundo de los LLM preentrenados.

Los autores señalan que, si bien el marco sobresale en la precisión predictiva, el impacto del ajuste fino simbólico en la calidad de la generación de lenguaje natural del modelo (fluidez y coherencia) sigue siendo una pregunta abierta para trabajos futuros.