Resumen Técnico: Galahad y Merlin — Reutilización de Conocimiento Verificado en Modelos Congelados

1. Declaración del Problema

El paradigma prevaleciente para mejorar la capacidad de los modelos de lenguaje se basa en el reentrenamiento: aumentar el recuento de parámetros, expandir los conjuntos de datos y ejecutar nuevos ciclos de entrenamiento. Este enfoque incurre en tres costos estructurales:

1. Ineficiencia Económica: La mejora se cotiza en meses-GPU, y cada consulta a un modelo de frontera para un problema ya resuelto requiere una nueva y costosa pasada de generación.
2. Opacidad y Auditabilidad: Cada ciclo de entrenamiento produce un nuevo modelo opaco, lo que requiere una nueva auditoría de los cambios de comportamiento.
3. No Determinismo: La generación ordinaria es no determinista; la misma entrada no produce de manera confiable la misma salida, lo que la descalifica para entornos que requieren pistas de auditoría, reproducibilidad o aprobación regulatoria.

Los sistemas actuales de generación aumentada por recuperación (RAG) y de almacenamiento en caché semántico dependen de la coincidencia de similitud aproximada (recuperación de vectores), lo cual, según los autores, falla catastróficamente para el conocimiento ejecutable verificable, seleccionando el elemento incorrecto el 94.3% de las veces en los escenarios probados.

2. Metodología: El Sistema Galahad/Merlin

El artículo informa sobre un sistema de producción propietario, Galahad, que desacopla la derivación de la ejecución. El sistema opera bajo un régimen de "modelo congelado" donde los pesos nunca cambian, y el crecimiento de la capacidad se logra a través de una capa de memoria persistente y separada llamada Merlin.

Arquitectura Central

• Modelo Congelado: El sistema utiliza un modelo abierto de 12 mil millones de parámetros (Gemma-4-12B) que nunca es ajustado (fine-tuned) ni reentrenado.
• Memoria Verificada (Merlin): Un motor de almacenamiento determinista que contiene "métodos verificados parametrizados" en lugar de respuestas almacenadas en caché.
  • Proceso de Depósito: Una familia de problemas se resuelve una sola vez. La solución se somete a un paso de verificación independiente que nunca consulta la clave de respuesta. Este paso utiliza pruebas formales verificadas por máquina, puertas de consistencia o pruebas metamórficas.
  • Almacenamiento: Solo se almacenan las soluciones que pasan esta puerta "libre de clave de respuesta". La memoria garantiza la unicidad (filtrando duplicados idénticos en bytes) y el direccionamiento de contenido exacto.
• Régimen de Ejecución:
  • Selección: Ante una nueva consulta (una instancia de parámetro fresca de una familia de problemas conocida), el sistema realiza un direccionamiento de contenido exacto para recuperar el método verificado. Esta selección toma ~1.4 microsegundos con cero colisiones.
  • Reutilización: El modelo congelado re-ejecuta el método recuperado sobre los nuevos parámetros de entrada.
  • Salida: El sistema devuelve una respuesta bit a bit exacta y determinista a cero tokens de generación.

Verificación e Integridad

El sistema emplea un contrato de "verificar antes de almacenar". La puerta de verificación es específica del dominio (por ejemplo, verificadores de pruebas formales para matemáticas, controles de consistencia para razonamiento) y está diseñada para rechazar candidatos sutilmente incorrectos. La capa de memoria (Merlin) garantiza la seguridad ante fallos, cero corrupción durante escrituras interrumpidas y recuperación idéntica en bytes.

3. Contribuciones Clave y Resultados Medidos

A. Reutilización de Cero Tokens con 100% de Precisión

En una batería de 180 instancias frescas a través de nueve familias de problemas (algorítmicos y matemáticos), el sistema logró una precisión de 180/180 (100%).

• Costo de Tokens: 0 tokens de generación por respuesta tras el depósito inicial de una sola vez.
• Costo Energético: ~36 mWh por respuesta (medido en hardware), comparado con el costo de una sola vez de 81.1 Wh de la campaña inicial de resolución y verificación.
• Latencia: 6–23 ms para un ciclo completo de reutilización (selección + re-ejecución).

B. Invarianza Arquitectónica

La capacidad no está ligada a una arquitectura de modelo específica. El mismo régimen de memoria y verificación se aplicó a cuatro modelos no relacionados de cuatro proveedores (Gemma-4-12B, Qwen3-14B, DeepSeek-Coder-V2-Lite, Phi-4), incluyendo arquitecturas tanto densas como de mezcla de expertos (MoE). Los cuatro modelos lograron 180/180 de precisión con 0 tokens de generación.

C. Control Negativo y Atribución

Un experimento de control negativo confirmó que la capacidad reside enteramente en la memoria:

• Con la memoria conectada: 180/180 de precisión.
• Con la memoria vaciada: 0/180 de precisión.
• Los pesos congelados permanecieron idénticos en ambas condiciones, demostrando que el propio modelo no contribuye con ninguna capacidad nueva sin el conocimiento verificado almacenado.

D. Composición y Contexto Fusionado

El sistema demuestra la capacidad de combinar conocimiento almacenado:

• Problemas Compuestos: Resolvió 5/5 problemas compuestos que requerían tres soluciones almacenadas distintas, donde ningún elemento almacenado individual contenía la respuesta completa.
• Contexto Fusionado: Fusionó con éxito hasta nueve elementos (1,300 tokens) y seis elementos (14,000 tokens) en un único contexto de trabajo. El modelo identificó correctamente las fuentes y computó respuestas de dominios cruzados (por ejemplo, combinando constantes físicas con reglas computacionales).
• Ventana de Contexto: El sistema mantiene una ventana móvil de 6,000,000 de tokens en una sola GPU de 46 GB con uso de memoria plano. En contraste, los motores de servicio líderes (vLLM, SGLang) presentan errores críticos o truncamientos silenciosos a los ~30,000–32,000 tokens.

E. Razonamiento de Código Abierto

El contrato de verificar-antes-de-almacenar se extiende a dominios no numéricos:

• Pruebas Formales: Las pruebas verificadas por máquina fueron aceptadas al primer intento; las afirmaciones falsas fueron rechazadas.
• Consistencia: 88/88 aceptaciones con puerta de consistencia a través de cuatro modelos para razonamiento de código abierto.
• Transferencia: Tasa de éxito de 77/80 en la transferencia de métodos de razonamiento verificados a nuevos dominios (por ejemplo, triaje médico).

F. Exactitud vs. Recuperación Aproximada

El artículo destaca un modo de fallo crítico en la recuperación de vectores estándar de la industria. En un almacén de 4,500 elementos verificados, la coincidencia de similitud aproximada seleccionó el elemento incorrecto el 94.3% de las veces. El direccionamiento de contenido exacto (Merlin) logró un 0% de error, estableciendo la exactitud como un requisito de diseño.

4. Significado y Reivindicaciones

El artículo afirma que, para el trabajo de ejecución vinculada y verificable que ya ha sido resuelto, el sistema Galahad/Merlin invierte la jerarquía de rendimiento de los modelos de frontera:

1. Inversión Económica: Mientras que las APIs de frontera pagan una pasada de generación fresca (cientos a miles de tokens) por cada consulta, el sistema congelado paga un costo de depósito de una sola vez. El punto de equilibrio se alcanza después de 17–34 consultas; más allá de esto, el sistema opera con un costo marginal de tokens de cero.
2. Determinismo y Auditabilidad: El sistema proporciona salidas bit a bit exactas y deterministas, una propiedad que la escala no puede comprar en la generación estándar. Esto permite la aprobación regulatoria y pistas de auditoría reproducibles.
3. Desacoplamiento de la Capacidad: El sistema demuestra que la capacidad de ejecución puede desacoplarse del escalado de parámetros. Un modelo de 12B, cuando se aumenta con memoria verificada, supera a los modelos de frontera en costo, latencia, determinismo y verificación para el dominio específico de los problemas resueltos.
4. Garantías Operativas: El sistema ofrece una escala de "contexto de trabajo" (millones de tokens) que excede los límites de los motores actuales, manteniendo al mismo tiempo el direccionamiento exacto y cero colisiones.

Los autores declaran explícitamente que el razonamiento de arranque en frío (resolver problemas novedosos desde cero) sigue siendo el dominio de los modelos de frontera, donde superan a los modelos de 12B en benchmarks públicos. La afirmación se limita estrictamente al territorio de "resuelto y verificado", donde el sistema ofrece una vía de ejecución superior, verificable y sin costo.

5. Verificación y Reproducibilidad

El informe se adhiere a un estándar de experiencia de la industria, proporcionando resultados medidos sin revelar detalles de la arquitectura propietaria. La verificación se ofrece a través de:

• Banco de Pruebas Público: Una instancia en vivo y con límite de tasa (https://corbenic-galahad-bench.hf.space) donde los usuarios pueden observar directamente el comportamiento bit a bit exacto y de cero tokens.
• Artefactos Anclados por Hash: Los archivos de resultados brutos y los hashes criptográficos están disponibles bajo acuerdo de confidencialidad (NDA) para verificar las afirmaciones específicas del informe.

El artículo concluye invitando a la industria a falsificar la afirmación: producir una API que responda a una instancia de una familia resuelta con un costo marginal de generación de cero y de forma bit a bit exacta, con un resultado pre-verificado. Hasta que exista tal producto, los autores argumentan que cada respuesta de frontera a un trabajo ya resuelto representa un desperdicio arquitectónico.