🤖 AI

Partner Capability Estimation for Task-Agnostic Adaptation in Ad-Hoc Teamwork

Este artículo introduce CE-CM y su extensión sensible a la diversidad CE-CM-Div, un marco bayesiano aproximado que permite a los agentes autónomos estimar rápidamente las capacidades ocultas e invariantes a la tarea de sus compañeros y adaptar su planificación conjunta en escenarios de trabajo en equipo ad-hoc sin requerir preentrenamiento ni conocimiento previo de la tarea.

Autores originales: Peter Tisnikar, Maja Swieczkowska, Benteng Ma, Gerard Canal, Matteo Leonetti

Publicado 2026-07-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Peter Tisnikar, Maja Swieczkowska, Benteng Ma, Gerard Canal, Matteo Leonetti

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrando en un videojuego nuevo con un desconocido. No sabes si es un corredor de velocidad que se salta niveles, un explorador cauteloso que revisa cada rincón o alguien a quien simplemente le disgusta saltar. En el mundo de la inteligencia artificial, esto se llama Trabajo en Equipo Ad-Hoc. Es el desafío de lograr que un robot (o un agente de IA) coopere con un compañero al que nunca ha conocido, sin práctica previa ni un manual de reglas compartido. Normalmente, los investigadores de IA intentan entrenar a los robots para que sean "superrobustos", lo que significa que aprenden a jugar bien contra cualquiera practicando contra miles de diferentes oponentes informáticos. Pero este artículo plantea una pregunta diferente: ¿Y si, en lugar de solo memorizar cómo reaccionar, el robot pudiera realmente descubrir qué es capaz de hacer su compañero? Piensa en ello como en un compañero de baile. En lugar de solo adivinar el siguiente paso, el robot intenta aprender el "repertorio de movimientos" de su pareja: ¿puede saltar alto? ¿Puede levantar cosas pesadas? Una vez que conoce los límites de las habilidades de su pareja, puede planificar una rutina de baile que funcione perfectamente para ambos, incluso si están bailando una canción completamente nueva.

El artículo, titulado "Estimación de la Capacidad del Compañero para la Adaptación Independiente de la Tarea en el Trabajo en Equipo Ad-Hoc", introduce un método ingenioso llamado CE-CM (Estimación de Capacidad mediante Modelos Contextuales). La idea central es que el robot no debería solo adivinar qué es lo que el compañero quiere hacer; debería descubrir qué es lo que el compañero puede hacer. Los autores tratan las habilidades de un compañero como una lista oculta de "superpoderes" (o falta de ellos) que permanece constante sin importar qué juego estén jugando.

Así es como aprende el robot: observa al compañero jugar algunas rondas de un juego. Luego, el robot realiza una simulación mental. Dice: "Bien, si mi compañero tuviera este conjunto específico de superpoderes, ¿cómo habría jugado en esa última ronda?". Compara su simulación con lo que realmente sucedió. Si la simulación coincide con la realidad, el robot mantiene ese conjunto de superpoderes como una posibilidad. Si no coincide, descarta esa idea. Al hacer esto repetidamente, el robot reduce la lista hasta que tiene una muy buena sospecha sobre las verdaderas capacidades de su compañero. Una vez que conoce los límites de su pareja, puede planificar el siguiente juego juntos, asegurándose de no pedirle al compañero algo imposible, como levantar un piano si el compañero solo puede levantar un ratón.

Los investigadores probaron esta idea en dos mundos digitales muy diferentes. El primero fue un juego de orden en el que las reglas eran estrictas y claras (como un rompecabezas de lógica). En este mundo, el robot fue increíble. Descubrió rápidamente qué podía y qué no podía hacer su compañero. Después de solo unos pocos juegos, el robot dejó de cometer errores, como pedir al compañero que limpiara una habitación a la que no podía entrar. Los resultados mostraron que la capacidad de coordinación del robot mejoró drásticamente, ya que el número de "correcciones" (donde el robot tenía que arreglar un mal plan) cayó de aproximadamente un 75% a menos del 5% para algunos compañeros.

Sin embargo, el segundo mundo, Overcooked (un caótico simulador de cocina), fue mucho más difícil. En una cocina, a menudo hay muchas formas de hacer una ensalada. Puedes picar los tomates primero, o las cebollas primero; ambas funcionan. El método original del robot, CE-CM, asumía que si el compañero podía hacer algo, lo haría de la manera más perfecta y lógica. Pero las personas reales (e incluso algunos compañeros informáticos) son desordenadas. Pueden elegir un camino extraño solo porque les gusta, o pueden cometer un error. En este entorno desordenado, el robot se quedó estancado. Sabía lo que el compañero podía hacer, pero no podía predecir qué haría realmente porque había demasiadas opciones válidas.

Para solucionar esto, los autores crearon una mejora llamada CE-CM-Div. En lugar de preguntar: "¿Cuál es la única forma perfecta en la que mi compañero actuaría?", este nuevo método pregunta: "¿Cuáles son todas las diferentes formas en las que mi compañero podría actuar?". Genera un montón de escenarios posibles para cada conjunto de superpoderes. Cuando el compañero hace algo, el robot comprueba si coincide con cualquiera de esos escenarios. Esto resultó ser un cambio radical cuando lo probaron con humanos reales. Reunieron 225 sesiones de cocina de 15 personas diferentes. El método original tenía dificultades, fallando a menudo al intentar adivinar las habilidades del humano correctamente debido a que los humanos son impredecibles. Pero CE-CM-Div, con su enfoque de "muchas posibilidades", logró aprender las capacidades de los humanos de manera mucho más rápida y precisa.

El artículo sugiere que, si bien conocer los límites de un compañero es un gran paso adelante, no es una solución mágica para todas las situaciones. Si un compañero tiene muchas formas de resolver un problema, saber sus límites no es suficiente para saber qué camino elegirá. Pero al tener en cuenta esta diversidad e incertidumbre, los robots pueden convertirse en mejores compañeros de equipo. Los autores concluyen que este enfoque —aprender un modelo reutilizable de lo que un compañero puede hacer, en lugar de solo memorizar cómo actúa en un juego específico— es una forma prometedora de construir una IA que pueda trabajar con cualquiera, en cualquier lugar, en cualquier tarea.

Resumen Técnico: Estimación de Capacidades del Compañero para la Adaptación Agnóstica a la Tarea en el Trabajo en Equipo Ad-Hoc

1. Formulación del Problema

El artículo aborda una limitación crítica en la investigación actual sobre el Trabajo en Equipo Ad-Hoc (AHT): la suposición de que los agentes colaboran en una única tarea fija con capacidades de compañeros conocidas. En entornos realistas de mundo abierto, particularmente aquellos que involucran colaboradores humanos, los compañeros poseen restricciones ocultas e invariantes a la tarea sobre sus habilidades (capacidades) y pueden actuar de manera subóptima o con estrategias diversas.

Los autores formalizan el problema como planificación conjunta con ejecución descentralizada bajo capacidades de compañero ocultas. El desafío central es aprender un modelo reutilizable y agnóstico a la tarea de las capacidades de un compañero específico a partir de trayectorias conjuntas observadas. A diferencia de enfoques anteriores que aprenden políticas robustas para una tarea fija o infieren preferencias (lo que un compañero quiere hacer), este trabajo se centra en inferir capacidades (lo que un compañero es fundamentalmente capaz de hacer). El objetivo es permitir que un agente autónomo ( $Ag_1$ ) estime el vector de capacidad oculto ( $c$ ) de un compañero incontrolable ( $Ag_2$ ) y utilice esta estimación para planificar futuras tareas conjuntas sin pre-entrenamiento en una población de compañeros.

2. Metodología

2.1. Marco de Modelado

Los autores extienden el marco de los Procesos de Decisión de Markov Contextuales Multi-agente (CMMDP).

Estado y Acción: Definidos sobre un conjunto finito de estados conjuntos ( $S$ ) y acciones conjuntas ( $A$ ).
Capacidades ( $C$ ): Modeladas como vectores binarios de $D$ dimensiones donde cada bit representa una capacidad específica (por ejemplo, la capacidad de levantar un objeto pesado, la capacidad de usar una herramienta específica).
Función de Transición ( $T$ ): Las capacidades modulan la función de transición. Si falta una capacidad requerida para una transición ( $c_i=0$ ), la transición resulta en un bucle de auto-referencia (el estado no cambia), lo que efectivamente vuelve la acción inviable en ese contexto.
Objetivo: El agente busca encontrar el vector de capacidad $c^*$ que minimice la diferencia entre la trayectoria conjunta planificada bajo $c^*$ y la trayectoria observada $\tau_{obs}$ a través de múltiples tareas.

2.2. CE-CM: Estimación de Capacidades mediante Modelos Contextuales

El método principal, CE-CM, es un enfoque de inferencia bayesiana aproximada que opera mediante un bucle de "simular-y-comparar":

Muestreo: El agente muestrea vectores de capacidad candidatos ( $\hat{c}$ ) de una distribución a priori.
Simulación: Para cada candidato, el agente utiliza un planificador conjunto para simular la trayectoria ( $\tau_{\hat{c}}$ ) que resultaría si el compañero poseyera esas capacidades.
Comparación: La trayectoria simulada se compara con la trayectoria observada ( $\tau_{obs}$ ) utilizando una métrica de similitud (distancia de Jaccard para estados proposicionales, similitud de coseno para vectores de valores reales).
Actualización de Creencia: Los candidatos que caen dentro de un umbral de similitud $\epsilon$ son aceptados. El agente mantiene un conjunto de muestras aceptadas para aproximar la distribución a posteriori.
Estimación: Se deriva una estimación puntual $\hat{c}^*$ (por ejemplo, mediante la estimación de Máxima Posterior) mediante el umbral de la media empírica de las muestras aceptadas.
Planificación: Las capacidades estimadas inducen una instancia específica de CMMDP, la cual el agente utiliza para computar un nuevo plan conjunto para la siguiente tarea.

2.3. CE-CM-Div: Manejo de la Diversidad de Comportamiento

Los autores identifican que el CE-CM estándar es frágil cuando los compañeros humanos exhiben comportamientos diversos o subóptimos, ya que un único vector de capacidad puede inducir múltiples trayectorias válidas. Para abordar esto, proponen CE-CM-Div:

En lugar de comparar la observación con una única trayectoria óptima, CE-CM-Div genera un conjunto diverso de trayectorias ( $\Delta_{\hat{c}}$ ) para cada hipótesis de capacidad candidata utilizando un planificador consciente de la diversidad (basado en Búsqueda en Árbol de Monte Carlo).
Una hipótesis es aceptada si al menos una trayectoria en el conjunto diverso es suficientemente similar a la observación.
Este enfoque evita el rechazo de hipótesis de capacidad válidas debido a variaciones de comportamiento no modeladas o suboptimidad.

3. Contribuciones Clave

Formulación Basada en Capacidades: Una formalización del AHT multi-tarea como planificación conjunta bajo restricciones de capacidad ocultas e invariantes a la tarea, proporcionando una representación de compañero interpretable y reutilizable.
Algoritmo CE-CM: Un método de adaptación en línea y agnóstico a la tarea que infiere vectores de capacidad discretos a partir de pocas interacciones sin requerir pre-entrenamiento de población o datos de demostración.
Extensión CE-CM-Div: Un mecanismo de robustez que da cuenta de la diversidad de comportamiento al evaluar las hipótesis contra conjuntos de ejecuciones de planificación diversas en lugar de trayectorias óptimas únicas.
Validación Empírica: Evaluación exhaustiva en dos dominios (TidyUP y Overcooked) y un estudio con sujetos humanos que demuestra la eficacia y las limitaciones del modelado basado en capacidades.

4. Resultados Experimentales

4.1. TidyUP (Dominio PDDL)

En un dominio doméstico simbólico con recompensas totalmente especificadas y transiciones deterministas:

Inferencia: CE-CM recuperó rápidamente los vectores de capacidad reales (ground-truth), reduciendo la distancia de Hamming a casi cero dentro de cinco tareas.
Coordinación: El método redujo significativamente la proporción de "acciones corregidas" (conflictos entre el plan del agente y el del compañero) e incrementó el solapamiento de planes (IoU) en comparación con las líneas base optimistas y pesimistas.
Conclusión: En entornos bien especificados donde la viabilidad dicta estrictamente el comportamiento, la inferencia de capacidades es altamente efectiva.

4.2. Overcooked (Compañeros Simulados)

En un dominio de coordinación dinámica con recompensas subespecificadas (múltiples estrategias válidas):

Inferencia: CE-CM recuperó con éxito las restricciones de capacidad, reduciendo la proporción de acciones inviables (improductivas) asignadas al compañero.
Limitación de Coordinación: A pesar de las estimaciones de capacidad precisas, CE-CM no resolvió completamente los errores de coordinación (el solapamiento de planes se mantuvo bajo). Esto se debe a que las capacidades restringen la viabilidad, pero no determinan qué estrategia viable elige un compañero cuando existen múltiples opciones.
Conclusión: Las capacidades por sí solas son insuficientes para predecir el comportamiento en dominios con alta ambigüedad de estrategia.

4.3. Overcooked (Sujetos Humanos)

Un estudio con 15 participantes (225 trayectorias) reveló una variabilidad de comportamiento significativa:

Fallo de CE-CM: El CE-CM estándar falló frecuentemente al actualizar las creencias porque las trayectorias humanas rara vez coincidían con la trayectoria óptima única generada por el planificador, lo que resultó en muy pocas muestras aceptadas.
Éxito de CE-CM-Div: La extensión consciente de la diversidad mejoró sustancialmente la precisión de la inferencia (menor distancia de Hamming) y el tamaño de la distribución a posteriori al aceptar hipótesis que coincidían con cualquiera de los diversos comportamientos plausibles.
Conclusión: Considerar la diversidad de comportamiento es esencial para una inferencia de capacidad robusta en equipos humano-IA realistas.

5. Significado y Reivindicaciones

El artículo sostiene que el modelado basado en capacidades ofrece un enfoque prometedor, interpretable y agnóstico a la tarea para la adaptación en el trabajo en equipo ad-hoc. Al distinguir entre lo que un compañero puede hacer (capacidades) y lo que elige hacer (preferencias/estrategias), los agentes pueden acumular conocimiento reutilizable sobre un individuo a través de diferentes tareas.

Sin embargo, los autores son modestos respecto al alcance de esta solución. Establecen explícitamente que:

Las capacidades son necesarias pero no suficientes: En dominios con múltiples estrategias válidas (como Overcooked), conocer las capacidades de un compañero no predice de forma única su comportamiento.
La diversidad es crítica: La adaptación robusta en equipos humano-IA requiere mecanismos (como CE-CM-Div) que den cuenta de la variabilidad del comportamiento y la suboptimidad, en lugar de asumir una planificación óptima.
Escalabilidad: El enfoque actual depende de la planificación conjunta, la cual escala exponencialmente con el número de agentes, limitando su aplicación inmediata a equipos grandes sin más aproximaciones.

El trabajo posiciona la estimación de capacidades como un paso fundacional hacia el trabajo en equipo humano-IA generalizable, al tiempo que destaca la necesidad de modelar conjuntamente las capacidades y las preferencias para resolver plenamente la ambigüedad del comportamiento.