💻 computer science

FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor

FORGE-plus introduce un marco de dos capas que aprovecha un LLM congelado para asignar techos de fuerza y seleccionar maniobras de recuperación basadas en firmas textuales, permitiendo que un controlador de bajo nivel logre un ensamblaje robusto y libre de roturas con tolerancias estrechas y recuperación de deslizamientos sin controlar directamente la fuerza ni exceder los límites de seguridad.

Autores originales: Kyupaeck Jeff Rah, Midum Oh

Publicado 2026-07-24

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kyupaeck Jeff Rah, Midum Oh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots son como niños pequeños torpes intentando construir con una caja de LEGO, pero estos LEGO están hechos de vidrio, y las instrucciones están escritas en un idioma que el robot no habla. Este es el desafío del ensamblaje rico en contacto: enseñar a una máquina a empujar, deslizar y encajar piezas suavemente sin romperlas. En el pasado, los robots aprendían esto mediante el ensayo y error, a menudo destrozando las piezas hasta que descubrían la fuerza adecuada. Pero, ¿qué pasa si las piezas son demasiado frágiles para ser destrozadas?

Para resolver esto, los científicos utilizan una mezcla de Aprendizaje por Refuerzo (RL) —donde un robot aprende recibiendo puntos por el éxito y penalizaciones por los errores— y Modelos de Lenguaje Extensos (LLMs), el mismo tipo de IA que puede escribir historias o responder preguntas. La gran pregunta ha sido: ¿Cómo le decimos al robot con qué fuerza empujar, y qué debe hacer si se queda atascado? Si un robot atasca un tornillo, el instinto natural es "empujar más fuerte". Pero si sostienes una botella de vidrio frágil, empujar más fuerte es la forma más rápida de convertirla en un montón de fragmentos. Este artículo explora una nueva forma de enseñar a los robots a ser delicados, inteligentes y seguros, utilizando una simulación donde las "piezas" pueden romperse si la fuerza es demasiado alta.

El robot con un cartel de "No tocar eso"

Conoce a FORGE-plus, un nuevo sistema diseñado para ayudar a los robots a ensamblar cosas delicadas, como meter una botella de vidrio en un estante para vino o deslizar un pequeño engranaje en un eje con casi nada de espacio para moverse. Los investigadores construyeron un cerebro de dos capas para el robot, y funciona de forma similar a un jefe estricto y un mecánico de pensamiento rápido.

El Jefe (El LLM Congelado):
Antes de que el robot siquiera toque el objeto, una IA "congelada" (un lector de texto inteligente que no aprende ni cambia durante la tarea) observa el nombre y la descripción del objeto. Es como un jefe leyendo una etiqueta que dice "Vidrio Frágil" o "Engranaje de Acero". Basándose en este texto, el jefe establece un techo de fuerza. Piensa en esto como una señal de límite de velocidad para la fuerza. Si es una botella frágil, el jefe dice: "Puedes empujar con una fuerza máxima de 8.8 Newtons". Si es un robusto engranaje de acero, el límite es mayor. Crucialmente, el robot no puede pedirle al jefe que cambie este límite más tarde, incluso si se queda atascado.

El Mecánico (El Bucle de Control Rápido):
La mano real del robot se mueve a la velocidad del rayo, guiada por un bucle de computadora rápido. Este bucle tiene un "grampa" (clamp) duro que actúa como una válvula de seguridad. No importa lo que piense el cerebro del robot, la grampa detiene físicamente al robot para que no empuje más fuerte que el límite del jefe. Si el robot intenta empujar con 10 Newtons, la grampa instantáneamente lo reduce al límite. Esto asegura que, incluso si el robot comete un error, no pueda romper el objeto empujando demasiado fuerte.

¿Qué sucede cuando las cosas salen mal?

En el mundo real, las cosas se atascan. Tal vez la botella golpea el borde del estante, o el engranaje se inclina dentro de la pinza. En el pasado, los robots podrían haber intentado la estrategia de "presionar más fuerte" para abrirse paso. Los investigadores probaron esta estrategia de "presionar más fuerte", y fue un desastre. En un tipo de pinza, no hizo nada más que perder el tiempo; en otra, destrozó el 96% de las piezas frágiles.

FORGE-plus toma un enfoque diferente. Cuando el robot se queda atascado, no le pide al jefe que aumente el límite. En su lugar, observa una firma de fuerza. Imagina que el robot está escuchando el "sonido" del contacto a través de sus sensores. Un bote atascado suena diferente que un engranaje trabado. El robot envía este "sonido" (que es solo una descripción de texto corta de las fuerzas) al jefe. El jefe selecciona entonces un movimiento de recuperación de un menú fijo, como "balancear", "rotar" o "soltar e intentar de nuevo".

La magia es que el robot nunca aumenta el límite de fuerza. Simplemente intenta diferentes movimientos dentro del límite seguro. Si la botella está encajonada, el robot podría rotarla ligeramente para encontrar un hueco, en lugar de empujarla hacia abajo.

Los Resultados: Una historia de éxito en la simulación

Los investigadores probaron esto en una simulación muy realista (usando Isaac Lab) con dos manos de robot diferentes: una pinza Robotiq y una mano Franka Panda. Utilizaron dos tareas principales:

La Botella: Meter una botella de vidrio frágil en un estante.
El Engranaje: Deslizar un engranaje sobre un eje con un espacio diminuto de 0.4 mm (más delgado que un cabello humano).

Las Buenas Noticias:
El sistema funcionó increíblemente bien en la simulación. Un único "cerebro" de robot (checkpoint) logró asentar con éxito tanto los engranajes frágiles como los resistentes 256 veces de 256 sin romper ni uno solo. También aprendió cuándo soltar el objeto perfectamente, con cero liberaciones erróneas. Incluso cuando el robot resbaló y agarró el engranaje en un ángulo incorrecto, el sistema utilizó la firma de fuerza para darse cuenta de: "Oye, estoy sujetando esto torcido", y decidió ponerlo de nuevo en la mesa y recogerlo otra vez. Esta estrategia de "re-agarre" salvó el día, recuperando del 40% al 64% de los atascos dependiendo de la mano del robot.

Las Malas Noticias (y las Lecciones Importantes):
El artículo también es famoso por lo que no funcionó. Los investigadores intentaron usar un método de aprendizaje estándar llamado PPO (que usualmente ayuda a los robots a aprender mediante la exploración de movimientos aleatorios). Descubrieron que, ante un espacio tan pequeño de 0.4 mm, los movimientos de "exploración" aleatorios del robot eran tan grandes que rompían las piezas frágiles antes de que el robot pudiera siquiera aprender cómo encajarlas. Es como intentar enhebrar una aguja lanzando la aguja contra el hilo; nunca lo lograrás, y romperás la aguja.

También descubrieron que si intentas enseñar al robot a ser "perfectamente óptimo" permitiéndole empujar justo hasta el punto de ruptura, en realidad falla con más frecuencia. Debido a que los movimientos del robot tienen un pequeño "sobreimpulso" (empuja un poquito de más antes de detenerse), un límite establecido exactamente en el punto de ruptura sigue resultando en piezas rotas. El límite "seguro" establecido por el jefe (basado en la identidad del objeto) fue en realidad mejor que el límite "perfecto" calculado por un código de trampa.

Por qué esto es importante

Este artículo no pretende haber construido un robot que pueda hacer esto en una fábrica real todavía; todo es una simulación. Pero demuestra una idea poderosa: La seguridad no proviene de que el robot sea lo suficientemente inteligente como para saber cuándo detenerse; proviene de un límite duro que el robot no puede cruzar.

Al separar el "pensar" (el jefe estableciendo el límite) del "hacer" (la grampa rápida que lo hace cumplir), el sistema asegura que el robot pueda intentar resolver problemas sin volverse destructivo. Demuestra que para tareas frágiles, la mejor estrategia no es empujar más fuerte, sino ser más inteligente sobre cómo empujar, y tener una regla estricta que diga: "No importa qué pase, no puedes empujar con esta fuerza".

Al final, FORGE-plus sugiere que el futuro del trabajo robótico delicado no consiste en construir una IA más fuerte y más inteligente que pueda adivinar la fuerza correcta, sino en construir sistemas que estén obligados a ser gentiles, utilizando un "presupuesto de fuerza" que el robot respete pase lo que pase.

Resumen Técnico: FORGE-plus

Planteamiento del Problema

Las habilidades de Aprendizaje por Refuerzo (RL) condicionadas por fuerza han demostrado éxito en tareas de ensamblaje con contacto rico al respetar un techo de fuerza comandado ( $F_{max}$ ). Sin embargo, persisten dos brechas críticas para el despliegue de estas habilidades en objetos frágiles:

¿Quién establece el techo? Los métodos actuales suelen autotunear $F_{max}$ para maximizar las tasas de éxito. Este enfoque falla cuando un solo sistema debe manejar tanto piezas robustas (ej. acero) como frágiles (ej. nailon o vidrio), ya que un techo suficiente para la primera destruiría la segunda.
¿Qué hacer ante un fallo? Cuando una inserción falla, la estrategia de recuperación intuitiva —"presionar más fuerte"— es precisamente la acción que destruye los componentes frágiles. Los razonadores de fallos basados en visión existentes (ej. REFLECT, DoReMi) operan a nivel de tarea y a menudo pasan por alto las sutiles distinciones entre modos de fallo (ej. encajonamiento vs. roscado de la rosca) que son evidentes solo en las trazas de fuerza, no en los píxeles visuales.

Metodología: Arquitectura FORGE-plus

FORGE-plus introduce un sistema de dos capas diseñado para imponer seguridad sin depender del LLM para la autoridad de control en tiempo real. El sistema opera enteramente en simulación (Isaac Lab) con dinámica de cuerpo rígido y rotura modelada.

1. El Sistema de Dos Capas

Capa Lenta (Supervisor LLM Congelado):
- Establecedor de Presupuesto: Antes de un episodio, un LLM congelado, puramente de texto, lee la identidad del objeto (nombre, material, etiquetas de geometría) y genera un techo de fuerza por objeto ( $F_{max}$ ). No ve imágenes ni datos de rotura específicos de la instancia.
- Selector de Recuperación: Tras detectar un fallo, el LLM lee una "firma de fuerza" compacta (derivada del historial de fuerza/par, duración del contacto y eventos de deslizamiento) y selecciona una maniobra de recuperación de un menú fijo (ej. retract_and_reapproach, wiggle_search, rotate_align, regrasp, abort).
- Restricción: El menú excluye explícitamente cualquier opción para "aumentar el techo". La salida del LLM es sobrescrita en el servidor para asegurar que $F_{max}$ permanezca inmutable durante la recuperación.
Capa Rápida (Habilidad de RL Condicionada por Fuerza):
- Una política MLP condicionada por fuerza (entrenada mediante Clonación de Comportamiento y DAgger) ejecuta la inserción.
- Clamp Duro: Un clamp de seguridad en el bucle de control rápido (60–120 Hz) satura todas las fuerzas comandadas al $F_{max}$ establecido por el LLM. Esto asegura que el LLM nunca tenga autoridad directa sobre la fuerza física aplicada.
- Cabeza de Liberación: Una cabeza lineal aprendida (que evita el tronco principal de la política) decide cuándo liberar el objeto basándose en observaciones puras.

2. Diseño de Evaluación (No Circularidad)

La evaluación está diseñada para prevenir el razonamiento circular respecto a la fragilidad:

Rotura Oculta: La fuerza de rotura ( $F_{break}$ ) se muestrea por episodio de una distribución y nunca es observada por la política, el LLM o el codificador de la firma. Es visible solo para el evaluador.
Invariantes de Seguridad: $F_{max}$ es fijo durante la recuperación, y la autoridad de la fuerza reside estrictamente en el bucle de control rápido.

Contribuciones Clave

1. Arquitectura y Benchmark

El artículo presenta una arquitectura unificada para el ensamblaje con presupuesto de fuerza bajo fragilidad por objeto. Introduce una métrica de rotura no circular y un benchmark que involucra dos tareas distintas:

Colocación de Botella Frágil: Insertar una botella de vino en un estante (clase frágil simulada con $F_{break} \approx 22$ N).
Inserción de Engranaje de Tolerancia Ajustada: Insertar un engranaje con 0.4 mm de holgura diametral (engranaje de ABS frágil simulado con $F_{break} \approx 38 \pm 5$ N).
Embodiments: Los experimentos se ejecutan en dos grippers: Robotiq 2F-140 y mano Franka Panda.

2. Resultados de Ciclo Completo

Un único checkpoint unificado (una "sopa de pesos" de políticas entrenadas tanto en clases frágiles como robustas) logró:

Puertas Limpias: 256/256 inserciones exitosas sin roturas en ambas clases de engranajes (frágil y robusto) usando el Robotiq 2F-140.
Liberación: 256/256 liberaciones aprendidas exitosas con cero "malas liberaciones" (prematuras o fallidas).
Flujo Físico: Un flujo de toma de mesa totalmente físico (sin teletransporte o fijación cinemática) completó 64/64 episodios con una fuerza de inserción máxima media de 5.4 N.

3. Eficacia de Recuperación vs. Baselines

Bajo perturbaciones inyectadas (encajonamientos de borde y deslizamientos de agarre de 5 mm):

Recuperación por Firma de Fuerza: El sistema propuesto recuperó el 40% de los atascos (Robotiq) y el 64% de los atascos (Franka) mediante el enrutamiento de firmas de fuerza específicas hacia la primitiva de recuperación correcta (ej. regrasp para agarres inclinados).
Baseline "Presionar más fuerte": Este baseline (modelado según el comportamiento publicado de Tactile-VLA) mostró dos modos de fallo distintos:
- Robotiq 2F-140: 100% fútil (timeouts), porque el orificio inclinado nunca enganchó la carga, haciendo que la escalada de fuerza fuera inútil.
- Franka Panda: 96% destructivo, rompiendo partes frágiles al escalar la fuerza.
Proxy de Visión-LLM: Un proxy de muestreo de menú para razonadores puramente visuales logró tasas de éxito menores (28% y 32%) porque no pudo distinguir la firma de fuerza de un agarre inclinado de otros fallos.

4. Resultados Negativos como Hallazgos

El artículo reporta rigurosamente lo que no funciona:

Fallo de PPO: El entrenamiento PPO on-policy falla en la holgura de 0.4 mm en el Robotiq 2F-140; el ruido de exploración requerido para encontrar el embudo es inherentemente destructivo para las partes frágiles.
Pulido de Desviación Estándar Diminuta: El ajuste fino de una política de Clonación de Comportamiento (BC) funcional con PPO (desviación estándar baja) destruye la política en 20 iteraciones debido a la amplificación del gradiente.
Oráculo de Presupuesto: Incluso un "oráculo" configurando $F_{max} = F_{break} - \epsilon$ falla (50% de rotura) porque el sobreimpulso (overshoot) del controlador excede el presupuesto. Esto demuestra que un presupuesto seguro debe considerar la distribución del sobreimpulso del controlador, no solo el umbral de rotura.
Diseños de Cabeza de Liberación: Tres diseños naturales para una cabeza de liberación aprendida fallaron; solo una cabeza lineal con salto de entrada (evitando el tronco) tuvo éxito.

Significado y Reivindicaciones

El artículo afirma que FORGE-plus proporciona una solución estructural a los problemas de "¿quién establece el techo?" y "¿qué hacer ante un fallo?" en el ensamblaje con contacto rico:

Presupuestos Derivados de la Identidad: Un presupuesto conservador derivado de la identidad del objeto supera a un presupuesto "oráculo" porque tiene en cuenta el sobreimpulso del control, garantizando la seguridad sin necesidad de conocer el umbral de rotura específico de cada instancia.
Recuperación Basada en Fuerza: Las estrategias de recuperación deben estar fundamentadas en firmas de fuerza, no en visión. La firma de fuerza es la única señal capaz de distinguir la necesidad de un regrasp (agarre inclinado) de otros fallos, superando a la selección basada en visión por un factor de ~2.
El Fallo de "Presionar más fuerte": Se demuestra que la recuperación natural de aumentar la fuerza es, o bien fútil o bien destructiva dependiendo del gripper y el modo de fallo, pero nunca la solución correcta para el ensamblaje frágil.
Separación de Seguridad: La seguridad está garantizada por el clamp duro en el bucle rápido, no por el LLM. El LLM actúa únicamente como un selector semántico de primitivas de movimiento, nunca como una autoridad de fuerza.

Los autores enfatizan que estos resultados son exclusivamente de simulación con física de cuerpo rígido y rotura modelada. No se reclama transferencia sim-to-real, aunque se señala que el estilo de condicionamiento por fuerza de FORGE posee éxito previo de transferencia. Este trabajo sirve como un benchmark riguroso y un conjunto de hallazgos negativos para guiar la investigación futura en manipulación frágil.