Resumen Técnico: CRANE – Inyección de Razonamiento Restringido para Agentes de Código mediante Edición en el Espacio Nulo

1. Declaración del Problema

Los agentes de código modernos deben navegar un requisito dual: necesitan capacidades de razonamiento sofisticadas (planificación, integración de contexto y recuperación de errores) para resolver tareas de software complejas, y sin embargo, deben adherirse estrictamente a protocolos de uso de herramientas (salidas concisas, formato correcto de esquemas y temporización disciplinada de herramientas) para interactuar eficazmente con los entornos de ejecución.

Observaciones recientes indican una desalineación entre los puntos de control de modelos emparejados:

• Modelos Instruct: Son concisos y disciplinados en el uso de herramientas, pero a menudo carecen de comportamientos profundos de planificación o recuperación, lo que conduce a ediciones prematuras o bucles.
• Modelos de Pensamiento: Exhiben un razonamiento y una recuperación más fuertes, pero a menudo "sobredeliberan", consumiendo tokens excesivos y degradando el rendimiento al violar los protocolos de herramientas o al no actuar.

Las técnicas existentes de fusión de modelos (por ejemplo, Aritmética de Tareas, TIES, SLERP) suelen tratar la fusión como una fusión simétrica de puntos finales. No están diseñadas para el entorno asimétrico de agentes de código, donde el objetivo es inyectar comportamientos de razonamiento específicos de un modelo "de Pensamiento" en una columna vertebral "Instruct", preservando rigurosamente la interfaz de herramientas desplegada del modelo Instruct. La fusión ingenua a menudo daña la fidelidad del protocolo requerida para una ejecución exitosa del agente.

2. Metodología: CRANE

CRANE (Inyección de Razonamiento Restringido para Agentes de Código mediante Edición en el Espacio Nulo) es un método de edición de parámetros sin entrenamiento que trata el vector de diferencia entre los puntos de control de Pensamiento e Instruct ($\delta = \theta_{\text{think}} - \theta_{\text{inst}}$) como un pool direccional de ediciones de razonamiento candidatas. Emplea una tubería de tres etapas para inyectar selectivamente estas ediciones mientras preserva el comportamiento del agente:

Etapa 1: Umbralización de Magnitud (Denoising)

El delta crudo $\delta$ contiene tanto señales de razonamiento útiles como ruido. CRANE aplica una regla de esparsificación conservadora para eliminar coordenadas de baja confianza.

• Mecanismo: Se aplica un umbral determinista de magnitud mediana. Las coordenadas con magnitudes por debajo de la mediana de $|\delta|$ se ponen a cero.
• Reescalado: Las entradas no nulas restantes se escalan por un factor de 2 para preservar aproximadamente la escala general de la actualización.
• Objetivo: Descartar el ruido de baja magnitud que podría perturbar la interfaz del agente sin contribuir a un razonamiento significativo.

Etapa 2: Puerta de Taylor Conservadora (CTG)

Esta etapa determina la fuerza de inyección para cada bloque de parámetros (capa y componente) evaluando si una dirección de edición específica es beneficiosa tanto para la transferencia de razonamiento como para la preservación del uso de herramientas.

• Calibración: Se definen dos funciones de pérdida enmascaradas utilizando pequeños conjuntos de calibración:
  • $L_R$ (Razonamiento): Mide el rendimiento en prompts de razonamiento de código generados por el modelo de Pensamiento.
  • $L_A$ (Comportamiento del Agente): Mide el rendimiento en prompts de uso de herramientas generados por el modelo Instruct.
• Puntuación: Para cada coordenada $j$, se calcula la puntuación de mejora de primer orden como $s_K(j) = -g_{K,j}\delta_j$, donde $g_K$ es el gradiente de la pérdida.
• Lógica de la Puerta: Una coordenada recibe un peso positivo solo si la edición es una dirección de descenso para ambas pérdidas simultáneamente:
  $$p_j = [\min\{s_R(j), s_A(j)\}]_+$$
• Agregación: Los pesos se agregan por bloque y se normalizan en relación con un bloque de referencia FFN/experto para determinar el coeficiente de escalado final $S_{\text{CTG}}(c, l)$.

Etapa 3: Proyección Sigmoidea Graduada (GSP)

Incluso las ediciones beneficiosas pueden interrumpir tokens críticos de formato (por ejemplo, delimitadores de herramientas, esquemas JSON, plantillas de chat). Esta etapa suprime las actualizaciones en el subespacio "crítico para el formato".

• Recopilación de Activaciones: Se recopilan estados ocultos del modelo Instruct en trazas críticas para el formato (tokens que controlan las llamadas a herramientas y los esquemas).
• Proyección SVD: Se realiza una Descomposición en Valores Singulares (SVD) sobre la matriz de activación. Las direcciones con valores singulares altos corresponden a direcciones de entrada que influyen fuertemente en las salidas críticas para el formato.
• Enmascaramiento Suave: En lugar de una proyección de espacio nulo dura, se aplica una máscara sigmoidea en el espacio de valores singulares. Las direcciones con alta amplitud (críticas para el formato) se atenúan significativamente, mientras que las direcciones de baja amplitud se preservan. Esto asegura una transición suave en lugar de un corte discontinuo.

El modelo fusionado final se calcula como:
$$\theta_{\text{merged}} = \theta_{\text{inst}} + \Pi_{\text{GSP}} \left( \alpha \cdot S_{\text{CTG}} \cdot T(\delta) \right)$$

3. Contribuciones Clave

1. Formulación de Fusión Direccional: Un enfoque novedoso para la fusión de modelos en modelos emparejados Instruct/Pensamiento, tratando el delta como un pool de ediciones candidatas en lugar de un objetivo simétrico, condicionado a comportamientos de agente específicos.
2. Receta CRANE: Una tubería de tres etapas, sin entrenamiento, que combina la extracción de deltas dispersos, la Puerta de Taylor Conservadora consciente del uso de herramientas y la Proyección Sigmoidea Graduada que preserva el formato.
3. Evaluación Empírica: Una evaluación exhaustiva en tres puntos de referencia (Roo-Eval, SWE-bench-Verified, Terminal-Bench v2) y dos escalas de modelo (Qwen3-30B-A3B y Qwen3-Next-80B-A3B).
4. Estudios de Ablación: Análisis que confirma que cada componente (esparsificador, puerta de Taylor, proyección) es necesario para el compromiso rendimiento-costo observado.

4. Resultados Experimentales

CRANE supera consistentemente tanto a los puntos finales individuales como a las líneas base de fusión estándar (Aritmética de Tareas, TIES, SLERP, AIM, LEWIS, RAIN) en todos los puntos de referencia, manteniendo la eficiencia.

• Roo-Eval (Codificación basada en IDE):

  • Escala 30B: Logró un 66.2% de pass@1, un aumento de +19.5% sobre la línea base Instruct (46.7%) y +19.0% sobre la mejor fusión alternativa.
  • Escala 80B: Logró un 81.5% de pass@1, un aumento de +8.7% sobre Instruct.
  • Eficiencia: CRANE logró estas ganancias con un menor Recuento Total de Tokens (TTC) que la línea base Instruct, reduciendo el uso de tokens en ~60 millones de tokens en 30B.

• SWE-bench-Verified (Problemas a nivel de repositorio):

  • Escala 30B: Resolvió 122/500 instancias, superando la línea base Instruct (108) y la mejor línea base de fusión (113).
  • Escala 80B: Resolvió 180/500 instancias, superando a Instruct (168) y a todas las demás líneas base.
  • Eficiencia: CRANE resolvió más instancias con costos agregados de tokens más bajos que las líneas base.

• Terminal-Bench v2 (Flujos de trabajo de Shell/Línea de comandos):

  • Escala 30B: Mejoró el pass@1 al 7.6% (vs. 4.8% Instruct) y el pass@5 al 17.9%.
  • Escala 80B: Mejoró el pass@1 al 14.8% y el pass@5 al 30.3%.
  • Eficiencia: CRANE redujo significativamente el tiempo de reloj (por ejemplo, 1h 58m vs. 2h 28m para Instruct en 80B) manteniendo altas tasas de éxito.

Hallazgos de Ablación: Eliminar cualquier componente individual (Umbralización de Magnitud, Puerta de Taylor o GSP) resultó en caídas significativas del rendimiento. Notablemente, eliminar GSP causó la mayor disminución en las tasas de éxito, destacando la importancia crítica de preservar las direcciones críticas para el formato.

5. Significado y Afirmaciones

El artículo afirma que CRANE aborda con éxito la naturaleza "complementaria pero desalineada" de los puntos de control Instruct y Pensamiento en los agentes de código. Al tratar la fusión como un problema de edición direccional condicionada al comportamiento en lugar de una fusión genérica, CRANE inyecta las capacidades de planificación y recuperación de los modelos de Pensamiento sin sacrificar la disciplina de herramientas y la eficiencia de los modelos Instruct.

Los autores enfatizan que estas ganancias no se compran con presupuestos de tokens aumentados o despliegues más largos; de hecho, CRANE a menudo logra resultados superiores con menos tokens y tiempos de reloj más cortos. El método proporciona una vía práctica y sin entrenamiento para mejorar el rendimiento del agente aprovechando las fortalezas de los modelos de razonamiento mientras se adhiere estrictamente a las restricciones de los protocolos de agentes desplegados.

Limitaciones Reconocidas:

• El método asume que el punto de control de Pensamiento proporciona un razonamiento útil y que el punto de control Instruct proporciona una interfaz útil; si los modelos futuros ya sobresalen en ambos, fusiones más simples podrían ser suficientes.
• Los conjuntos de calibración deben cubrir la superficie de herramientas desplegada; una deriva significativa en las herramientas o el formato requeriría recalibración.
• La construcción del proyector GSP requiere pasadas hacia adelante en trazas de formato, lo que puede ser computacionalmente costoso para modelos muy grandes.
• El rendimiento en ciertos lenguajes (Java, Rust) sigue siendo inferior al de Python/JS/Go, lo que sugiere asimetrías subyacentes en el entrenamiento de los modelos base en lugar de un fallo del método de fusión en sí mismo.