Resumen Técnico: Co-LMLM (Modelos de Lenguaje de Memoria Limitada de Consulta Continua)

Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLMs) típicamente internalizan el conocimiento fáctico dentro de sus parámetros. Este enfoque presenta limitaciones significativas: la recuperación de hechos escala con el tamaño del modelo y la frecuencia de exposición, lo que dificulta la captura de conocimiento de cola larga (long-tail); las asociaciones fácticas están entrelazadas con las representaciones lingüísticas, lo que hace que los hechos individuales sean difíciles de atribuir, editar o eliminar; y este entrelazamiento contribuye a las alucinaciones y al conocimiento desactualizado.

Trabajos recientes introdujeron los Modelos de Lenguaje de Memoria Limitada (LMLMs), que externalizan el conocimiento fáctico en una Base de Conocimiento (KB) legible por humanos durante el preentrenamiento en lugar de memorizarlo. Sin embargo, la implementación existente, denominada REL-LMLM (LMLM Relacional), depende de una KB relacional donde los hechos se almacenan como tuplas estructuradas de sujeto-relación-objeto. Este diseño impone varias restricciones:

1. Restricción de Datos: Restringe los datos externalizables a elementos expresables como tuplas relacionales, limitando el alcance principalmente a datos estructurados tipo Wikipedia.
2. Expresividad de la Consulta: La recuperación depende de la generación de consultas textuales explícitas y decodificadas (preguntas de lenguaje natural de sujeto-relación), lo que introduce una sobrecarga de inferencia y limita el mecanismo de recuperación a consultas simples.
3. Vías Predeterminadas: El proceso de entrenamiento sintetiza consultas exactas durante el preprocesamiento de datos, manteniendo las vías de recuperación constantes y restringiendo la expresividad del mecanismo de recuperación aprendido.

Metodología

Los autores proponen Co-LMLM (Modelos de Lenguaje de Memoria Limitada de Consulta Continua), un paradigma que aborda las limitaciones de los LMLMs relacionales manteniendo los beneficios de una memoria externalizada y editable.

Arquitectura Central

Co-LMLM funciona como un Transformer de solo decodificador que actúa tanto como modelo de lenguaje como recuperador denso.

• Consultas Continuas: En lugar de decodificar una consulta textual, el modelo emite un token especial <FACT>. El estado oculto en la posición de este token se extrae y se utiliza directamente como una consulta de vector denso.
• KB No Estructurada: La Base de Conocimiento almacena pares de claves vectoriales (las consultas continuas) y valores de cadena (fragmentos de texto fáctico literal). Esto permite el almacenamiento de fragmentos fácticos de texto libre sin las restricciones de las tuplas sujeto-relación-objeto.
• Inferencia: Durante la generación, cuando el modelo emite <FACT>, este activa un paso de recuperación. El fragmento de hecho (top-1) se inserta en el contexto inmediatamente después de <FACT>, seguido de un token de cierre </FACT>, y la decodificación se reanuda. Esto añade solo un paso autorregresivo por cada recuperación.

Objetivo de Entrenamiento

El modelo se entrena conjuntamente sobre dos objetivos:

1. Predicción del Siguiente Token (NTP): El modelo predice los tokens en la secuencia, pero crucialmente, no está optimizado para memorizar los fragmentos fácticos encerrados entre <FACT> y </FACT>. La pérdida se calcula solo en los tokens no fácticos y en el token de apertura <FACT> (que dispara la recuperación).
2. Pérdida de Recuperación Contrastiva: Una pérdida InfoNCE bidireccional alinea la representación de la consulta en el token <FACT> en el documento con la representación de la consulta en un token <FACT-q> en una pregunta de lenguaje natural emparejada. Esto enseña al modelo a emitir un estado oculto que recupere efectivamente el fragmento de hecho correcto cuando se le consulta.

Pipeline de Anotación de Datos

Para escalar más allá de Wikipedia, los autores desarrollaron un pipeline de anotación automatizado para procesar texto arbitrario (por ejemplo, FineWeb-Edu):

1. Anotación de Semilla: Un modelo de frontera (Gemini 3.1 Pro) anota un conjunto pequeño de documentos semilla, etiquetando fragmentos fácticos con <FACT q="..." a="...">fragmento</FACT>.
2. Destilación: Se entrenan dos anotadores ligeros sobre este conjunto de semillas:
   • Un Anotador de Fragmentos de Hechos (codificador ModernBERT) que realiza el etiquetado BIO para identificar fragmentos fácticos en texto bruto.
   • Un Generador de Preguntas (decodificador Qwen2.5) que genera un par de pregunta y respuesta independiente para cada fragmento.
3. Procesamiento del Corpus: Estos anotadores procesan el corpus completo de preentrenamiento, convirtiendo los documentos brutos en el formato anotado requerido para el entrenamiento de Co-LMLM. Este pipeline permite la extracción de hechos de texto web general, no solo de entradas enciclopédicas estructuradas.

Contribuciones Clave

1. Mecanismo de Consulta Continua: Reemplaza las consultas textuales decodificadas con consultas vectoriales continuas emitidas desde estados ocultos. Esto reduce la sobrecarga de inferencia (sin decodificación de la consulta) y permite que el mecanismo de recuperación utilice el contexto completo de generación en lugar de una consulta decodificada corta y restringida.
2. Externalización de Conocimiento de Formato Libre: Transición de tuplas relacionales a fragmentos fácticos no estructurados y de formato libre. Esto permite la externalización de un conjunto más amplio de conocimiento sin las restricciones de roles o relaciones, facilitando el escalado a corpus generales como FineWeb-Edu.
3. Pipeline de Anotación Escalable: Un método para anotar cientos de miles de millones de tokens con fragmentos fácticos y preguntas emparejadas, eliminando la restricción a Wikipedia y permitiendo el entrenamiento en datos web diversos.
4. Controlabilidad y Desaprendizaje: Demostrar que la externalización del conocimiento permite el "desaprendizaje" mediante operaciones simples de base de datos (eliminar entradas) sin reentrenar el modelo ni sacrificar la utilidad general, una capacidad que a menudo se pierde en la edición de parámetros.

Resultados Experimentales

Los autores evaluaron Co-LMLM frente a modelos de lenguaje estándar (STANDARD) y la línea base relacional (REL-LMLM) en escalas de 135M y 360M de parámetros, entrenados en Wikipedia y FineWeb-Edu.

• Perplejidad: Co-LMLM logra consistentemente una perplejidad menor que los modelos estándar del mismo tamaño. A la escala de 360M, Co-LMLM entrenado en Wikipedia logra una perplejidad menor que los modelos HF/SMOLLM2-360M predeterminados entrenados con 40× más datos.
• Precisión Fáctica: Co-LMLM mejora sustancialmente la precisión fáctica en diversos benchmarks (TriviaQA, PopQA, SimpleQA, T-REx, FactScore).
  • A la escala de 360M, Co-LMLM alcanza una puntuación de SimpleQA de 21.2 (21.7 con FineWeb-Edu), lo cual los autores señalan que está en línea con gpt-4o-mini y es superior a Claude Sonnet 4.5 según los leaderboards públicos.
  • Supera a REL-LMLM, demostrando que las consultas continuas y los fragmentos de formato libre son más robustos que las tuplas relacionales y las consultas textuales.
• Rendimiento de NLU: El modelo retiene un rendimiento de Comprensión del Lenguaje Natural (NLU) comparable al de los modelos estándar de su mismo tamaño, lo que indica que el volcado de hechos no degrada las capacidades lingüísticas generales.
• Desaprendizaje: En los experimentos de desaprendizaje TOFU, Co-LMLM olvida con éxito los hechos designados mediante la eliminación directa en la KB, manteniendo una alta utilidad en el conocimiento retenido, mientras que los métodos de desaprendizaje basados en entrenamiento (como NPO) degradan la utilidad debido al entrelazamiento de parámetros.
• Eficiencia: Co-LMLM reduce el costo de formación de la consulta a una sola pasada hacia adelante del estado oculto (~2.2ms), comparado con ~28ms para los métodos que requieren la decodificación de una pregunta textual y su posterior codificación.

Significancia y Reivindicaciones

El artículo afirma que Co-LMLM proporciona un método escalable para entrenar LLMs con un uso de conocimiento verificable, controlable y transparente. Al externalizar el conocimiento en un índice sin esquema y utilizar consultas continuas, el enfoque supera las limitaciones de expresividad y escalado de los LMLMs relacionales anteriores.

Los autores enfatizan que este diseño establece una base para estudiar las leyes de escala de conocimiento a través de dominios más amplios y tamaños de memoria. Reconocen las limitaciones actuales, señalando que, aunque el pipeline se extiende a corpus generales, la evaluación sistemática a través de diversos dominios de conocimiento sigue siendo un trabajo futuro. El artículo concluye que Co-LMLM ofrece un camino viable hacia LLMs que no solo son factualmente precisos, sino también editables y atribuibles, abordando problemas críticos de confianza en los modelos actuales.