💬 NLP

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

Este artículo introduce el preentrenamiento de relleno en medio (FIM) consciente de funciones, un enfoque de aprendizaje autosupervisado que aprovecha la similitud estructural entre los bucles de los agentes de codificación y las llamadas a funciones para aumentar significativamente el rendimiento de los agentes de codificación en evaluaciones como SWE-Bench, preservando simultáneamente las capacidades generales de codificación y uso de herramientas que a menudo se degradan con el postentrenamiento estándar.

Autores originales: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

Publicado 2026-07-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a reparar errores en una biblioteca de código gigante y desordenada. Normalmente, enseñamos a estos robots dejándoles leer libros de principio a fin, de izquierda a derecha. Pero hay un problema: cuando un robot va realmente a reparar un error, no solo lee hacia adelante. Da un paso, observa lo que sucedió (quizás una herramienta arrojó un error) y luego decide qué hacer después. Es un bucle: Acción → Observación → Siguiente Paso.

El autor de este artículo notó algo genial: este bucle del robot se parece exactamente a una llamada a una función en el código de un ordenador normal.

La Acción del Robot es como una función llamando a otra función.
La Observación del Robot es como esa función devolviendo un valor.
El Siguiente Paso del Robot es como el resto del código utilizando ese valor.

¿La gran idea? En lugar de solo leer el código hacia adelante, los autores enseñaron a sus modelos de robot a jugar a un juego de "completar el espacio en blanco" con estas llamadas a funciones. Lo llaman Entrenamiento Intermedio de FIM con Conciencia de Función (Function-Aware Fill-in-the-Middle Mid-Training).

El Juego: "Adivina la Pieza Faltante"

Imagina que tienes una historia donde un personaje (el "llamador") le pide a un amigo (el "llamado") que realice una tarea, pero el trabajo real del amigo está oculto. El robot tiene que adivinar qué hizo el amigo y explicar por qué lo hizo, basándose únicamente en el contexto anterior y posterior.

Para que este juego sea efectivo, los autores no solo eligieron palabras al azar para ocultar. Utilizaron un mapa especial del código (un "Grafo de Dependencia de Programa") para encontrar los rompecabezas perfectos. Buscaron funciones que fueran:

Lo suficientemente complejas como para ser un buen desafío (no demasiado fáciles, ni imposibles).
Lo suficientemente predecibles para que el robot pudiera realmente deducirlas a partir de las pistas circundantes.

También hicieron que el robot escribiera una "nota de razonamiento" (una Cadena de Pensamiento o Chain-of-Thought) antes de escribir el código faltante, obligándolo a pensar antes de actuar, tal como lo haría un programador humano.

Los Resultados: ¿Funciona?

Los autores probaron esto en tres cerebros de robot diferentes (modelos): dos de la familia Qwen2.5-Coder (7 mil millones y 14 mil millones de parámetros) y uno de la nueva familia Qwen3 (8 mil millones de parámetros). Entrenaron a estos robots en un conjunto de datos masivo de 2.6 mil millones de tokens (palabras y símbolos) tomados de 968 repositorios de código Python del mundo real.

Esto es lo que encontraron:

Mejor en la Reparación de Errores: Al ser probados en un benchmark famoso llamado SWE-Bench-Verified (que simula problemas de software del mundo real), los robots mejoraron significativamente.
- El modelo de 7B mejoró un +2.8%.
- El modelo de 14B mejoró un +3.0%.
- El modelo de 8B mejoró un +3.2%.
Aún Mejor en Tareas Más Fáciles: En una versión más ligera de la prueba (SWE-Bench-Lite), las ganancias fueron aún mayores, con el modelo de 8B saltando un +5.4%.
Funciona en Todas Partes: Estas mejoras ocurrieron incluso cuando los robots fueron entrenados utilizando diferentes métodos posteriormente. Esto sugiere que el entrenamiento "fill-in-the-middle" les dio una base sólida que perduró, sin importar cómo fueran pulidos después.

La Sorpresa: No Arruinó Otras Habilidades

Normalmente, cuando entrenas a un robot para que sea un súper-especialista (como un agente de reparación de errores), olvida cómo hacer otras cosas, como escribir código simple o usar herramientas. Los autores temían que esto sucediera.

Pero, el "entrenamiento intermedio" en realidad salvó las otras habilidades de los robots!

Sin este entrenamiento adicional, los robots empeoraban al escribir código por su cuenta (cayendo en benchmarks como LiveCodeBench).
Con el entrenamiento FIM, no solo se mantuvieron iguales, sino que se volvieron mejores (+11.1% en LiveCodeBench).
Aunque los datos de entrenamiento eran solo código Python, los robots mejoraron en el uso de herramientas en contextos completamente diferentes (como τ-bench y BFCL), lo que sugiere que aprendieron una habilidad general de "cómo pensar sobre la causa y el efecto" que se transfirió a otras tareas.

Lo Que Descartaron Explícitamente

Los autores fueron cuidadosos al decir lo que este método no es:

No es solo copiar a un profesor inteligente: Probaron si el robot solo estaba memorizando las respuestas de una IA poderosa (Gemini-3-Flash) que ayudó a generar los datos de entrenamiento. Descubrieron que incluso cuando el robot generaba sus propias notas de razonamiento, seguía mejorando. Por lo tanto, la magia no es solo "copiar al profesor"; es la estructura del juego en sí misma.
No es una solución mágica para todo: El método funciona mejor cuando el código es modular (dividido en funciones ordenadas). Si el código es un script gigante y desordenado donde todo está mezclado, el método no funciona tan bien porque no puede encontrar rompecabezas claros de "llamada a función" para resolver.
Aún no está probado para todos los lenguajes: Los datos de entrenamiento fueron solo Python. Aunque los robots mejoraron en otras tareas, los autores admiten que no han demostrado que esto funcione para Java, C++ o Rust todavía.

¿Qué Tan Seguros Están?

Los autores están bastante seguros de sus números porque realizaron las pruebas tres veces con diferentes semillas aleatorias para asegurar que los resultados no fueran solo suerte. Midieron las mejoras con precisión (por ejemplo, +2.8%, +3.0%) y demostraron que los robots resolvían consistentemente más problemas y cometían menos errores cuando se quedaban atascados.

Sugieren que esta etapa de "entrenamiento intermedio" es un eslabón perdido crucial. Es como darle al robot un tipo específico de entrenamiento de gimnasio antes de enviarlo al mundo real, asegurando que tenga los músculos adecuados para manejar el complejo bucle de "actuar, observar y continuar" sin perder sus otras capacidades.

Resumen Técnico: Relleno en el Medio Consciente de Funciones como Entrenamiento Intermedio para Modelos Base de Agentes de Codificación

Declaración del Problema

Los agentes de codificación diseñados para resolver problemas de ingeniería de software del mundo real dependen de una estructura de condicionamiento específica: mantener un historial ( $h_t$ ), muestrear una acción ( $a_t$ ), recibir una observación externa ( $o_{t+1}$ ) y continuar el razonamiento basado en la traza completa. Si bien el preentrenamiento de código estándar (predicción de siguiente token de izquierda a derecha) expone a los modelos al código, rara vez optimiza para este bucle específico de "acción $\to$ observación $\to$ continuación". En consecuencia, existe una brecha entre el preentrenamiento del modelo base y las demandas de los pipelines de postentrenamiento agéntico (por ejemplo, SWE-Gym, R2E-Gym).

Además, los objetivos de Relleno en el Medio (Fill-in-the-Middle o FIM) estándar utilizados en el preentrenamiento de código están desalineados con el razonamiento agéntico por tres razones:

Límites Arbitrarios: El enmascaramiento de rangos aleatorios suele cortar expresiones, fallando en capturar dependencias a nivel de función.
Falta de Razonamiento: El FIM estándar requiere generación directa sin pasos de razonamiento intermedio (Cadena de Pensamiento o Chain-of-Thought), a diferencia del patrón "pensar-luego-actuar" de los agentes.
Señal Amortizada: Cuando el FIM se disuelve en un preentrenamiento masivo, el sesgo estructural se diluye a través de billones de tokens no relacionados antes de que comience el postentrenamiento agéntico.

Metodología

Los autores proponen el Entrenamiento Intermedio de FIM Consciente de Funciones, una etapa de autoaprendizaje dedicada insertada entre el preentrenamiento y el postentrenamiento agéntico. Este enfoque aprovecha el isomorfismo estructural entre el paso de un agente de codificación y el sitio de llamada a una función en el código ordinario:

Contexto/Historial: Código previo a la llamada que establece la intención.
Acción/Llamada: La llamada a la función en sí.
Observación/Retorno: El valor computado por el callee (fuera del alcance inmediato).
Continuación: Código descendente que consume el valor de retorno.

Componentes Principales

Selección de Objetivos Consciente de Funciones:
En lugar de rangos aleatorios, el método selecciona objetivos de enmascaramiento a granularidad de función utilizando el análisis del Grafo de Dependencia de Programas (PDG).
- Puntuación de Complejidad ( $\hat{H}$ ): Mide la dificultad intrínseca basada en Líneas de Código (LoC), Complejidad Ciclomática de McCabe y profundidad de anidamiento.
- Puntuación de Inferibilidad ( $\hat{I}$ ): Mide qué tan recuperable es una función a partir de su contexto, agregando señales de los argumentos del llamador, dependencias del callee, firmas de tipos, docstrings y hermanos de clase.
- Criterio de Selección: Los objetivos se seleccionan mediante una combinación similar a la media armónica de $\hat{H}$ y $\hat{I}$ , penalizando los objetivos que son demasiado triviales o imposibles de aprender incluso con el contexto completo.
Aumentación de Cadena de Pensamiento (CoT):
Para los objetivos seleccionados, el modelo es entrenado para generar una racionalización paso a paso antes del cuerpo de la función.
- Generación: Un modelo de frontera (Gemini-3-Flash) genera la racionalización y un cuerpo candidato basándose únicamente en el contexto del archivo enmascarado (sin acceso a la verdad de fondo).
- Filtrado: Un modelo juez filtra los pares basados en la factibilidad y la calidad.
- Formato de Entrenamiento: El prompt de entrenamiento sigue la estructura <fim_prefix> ... <fim_suffix> ... <fim_middle> <rationale> <body>. Esto obliga al modelo a aprender la estructura de "pensar-luego-actuar".
Curación de Datos:
El corpus consiste en 968 repositorios de Python decontaminados de GitHub (2.6B de tokens). Se eliminaron los repositorios que se solapan con las fuentes de SWE-Bench, y los commits se restringieron a fechas anteriores a los commits base de SWE-Bench para evitar la filtración en el tiempo de prueba.

Principales Contribuciones

Analogía Estructural: Enmarcar los sitios de llamada a funciones como el análogo a escala de internet del bucle acción-observación-continuación de un agente, motivando el FIM consciente de funciones como un sesgo de autoaprendizaje.
Diseño de Pipeline: Un pipeline de entrenamiento intermedio que combina la selección basada en PDG, un doble criterio de complejidad-inferibilidad y racionalizaciones CoT integradas.
Validación de Robustez: Demostrar ganancias consistentes en diferentes tamaños de modelo (Qwen2.5-Coder 7B/14B, Qwen3-8B), diferentes pipelines de postentrenamiento (R2E-Gym, SWE-Smith, SWE-Lego) y diferentes familias de modelos base.
Transferencia de Dominio Cruzado: Mostrar que un corpus de entrenamiento intermedio exclusivo de Python mejora el rendimiento en benchmarks de uso de herramientas no relacionados con la codificación ( $\tau$ -bench, BFCL) y preserva las capacidades generales de codificación (LiveCodeBench) que típicamente se erosionan durante el postentrenamiento agéntico.
Lanzamiento Abierto: Liberación de los 968 repositorios decontaminados, el pipeline de selección, los checkpoints de entrenamiento intermedio y el corpus.

Resultados Experimentales

Rendimiento de Agente en el Dominio

El método fue evaluado en SWE-Bench-Verified y SWE-Bench-Lite.

Qwen2.5-Coder-7B: Ganancia de +2.8% en Verified, +3.7% en Lite (vs. solo postentrenamiento).
Qwen2.5-Coder-14B: Ganancia de +3.0% en Verified, +4.0% en Lite.
Qwen3-8B: Ganancia de +3.2% en Verified, +5.4% en Lite.
Independencia del Pipeline: Se observaron ganancias en los pipelines R2E-Gym, SWE-Smith y SWE-Lego, lo que indica que el sesgo no es específico de una única distribución de datos.

Preservación de Capacidades y Transferencia de Dominio Cruzado

Se encontró que el postentrenamiento agéntico por sí solo degrada significativamente las capacidades no objetivo (por ejemplo, LiveCodeBench cayó 13.1 puntos para el modelo 14B).

Restauración: Agregar el entrenamiento intermedio antes del postentrenamiento restauró el rendimiento de LiveCodeBench en +11.1 puntos, cerrando casi la brecha con el techo de ajuste de instrucciones.
Uso de Herramientas: A pesar de que el corpus contiene solo código Python y ninguna trayectoria de uso de herramientas, el entrenamiento intermedio mejoró el rendimiento en $\tau$ -bench (+3.9) y BFCL (+2.4). Esto sirve como evidencia de que el sesio inductivo de la llamada a funciones se transfiere al razonamiento de uso de herramientas general.

Análisis de Comportamiento

El análisis de las trayectorias de los agentes reveló:

Recuperación de Errores: El agente con entrenamiento intermedio se recuperó de observaciones negativas (por ejemplo, trazas de error/stack traces) a una tasa del 28.8% en comparación con el 24.8% de la línea base.
Iterar y Verificar: El modelo adoptó una política de más ediciones y trayectorias más largas (23.6 pasos vs. 15.1), reduciendo los fallos de "no-parche" en un orden de magnitud.
Granularidad: Las ganancias fueron más pronunciadas en tareas que requieren razonar sobre dependencias entre funciones dentro de un mismo archivo (+9.1 puntos en tareas de múltiples funciones), confirmando la hipótesis del isomorfismo estructural.

Significado y Reivindicaciones

El artículo afirma que el código fuente contiene un "suministro a escala de internet de señal relevante para agentes" en forma de sitios de llamada a funciones. Al entrenar explícitamente a los modelos para razonar bidireccionalmente sobre estas dependencias mediante FIM consciente de funciones, el método instala un sesgo estructural que:

Mejora el Rendimiento del Agente: Aumenta directamente las tasas de éxito en benchmarks de ingeniería de software.
Mitiga el Olvido Catastrófico: Previene la erosión de las capacidades generales de codificación y uso de herramientas que suelen causar los postentrenamientos agénticos especializados.
Generaliza: Los beneficios se transfieren a través de familias de modelos y a tareas de uso de herramientas no relacionadas con la codificación, lo que sugiere que el sesgo inductivo aprendido es fundamental para el bucle de razonamiento del agente y no específico a la generación de código Python.

Los autores señalan limitaciones, incluyendo la dependencia de un corpus exclusivo de Python, la dependencia de un profesor de frontera (Gemini-3-Flash) para la generación de CoT (aunque el CoT propio recupera la mayoría de las ganancias) y la suposición de estructuras de código modulares.