Resumen Técnico: Ambig-DS: Una Métrica para la Ambigüedad en la Estructuración de Tareas en Agentes de Ciencia de Datos

Declaración del Problema

A medida que los agentes de ciencia de datos evolucionan de copilotos a pilotos automáticos, emerge un modo de fallo crítico: la mala estructuración silenciosa. A diferencia de los errores de ejecución (por ejemplo, fallos de código o errores de sintaxis), la mala estructuración silenciosa ocurre cuando un agente se compromete con una interpretación plausible pero no intencionada del objetivo de una tarea. El agente produce una tubería limpia y ejecutable y un artefacto de envío válido, sin embargo, la estructuración subyacente de la tarea (objetivo de predicción u objetivo de evaluación) es incorrecta. Dado que la tubería se ejecuta con éxito y el formato de envío es correcto, las métricas estándar, que califican principalmente la ejecución de la tubería y la validez del artefacto, no logran detectar este fallo.

Las métricas actuales (por ejemplo, DS-1000, DSBench, MLE-bench) suelen proporcionar indicaciones totalmente especificadas donde el objetivo de predicción, la forma de salida y la métrica de evaluación están definidos explícitamente. Sin embargo, los flujos de trabajo reales de ciencia de datos a menudo carecen de estos compromisos; las partes interesadas proporcionan un objetivo y datos, dejando al modelador decidir qué constituye el objetivo y el éxito. El artículo argumenta que la capacidad de reconocer cuándo una tarea está insuficientemente especificada (es decir, cuando la observación de indicación-datos no justifica un compromiso único) y de solicitar aclaraciones antes de actuar es una competencia faltante en las evaluaciones actuales de agentes.

Metodología

Los autores introducen Ambig-DS, una métrica diagnóstica emparejada diseñada para aislar y medir la ambigüedad en la estructuración de tareas. La métrica consta de dos conjuntos analizados independientemente:

1. Ambig-DS-Target (51 tareas): Construido sobre DSBench (modelado tabular).
   • Intervención: Ediciones controladas de indicación-datos donde la columna de objetivo real se renombra (por ejemplo, a val_1) y se añade un objetivo señuelo plausible (val_2). La indicación se reescribe para utilizar un lenguaje genérico (por ejemplo, "predecir valor") en lugar de nombres de objetivos específicos.
   • Construcción: El objetivo señuelo se diseña para tener la misma distribución marginal que el objetivo real, pero está impulsado por un conjunto diferente de características. El ruido se calibra para que el señuelo sea casi tan predecible a partir de las características como el objetivo real, evitando que los agentes los distingan mediante comprobaciones simples de correlación o aprendibilidad.
2. Ambig-DS-Objective (61 tareas): Construido sobre MLE-bench (competiciones al estilo de Kaggle).
   • Intervención: Ediciones solo de indicación donde las referencias explícitas a métricas (por ejemplo, "ROC-AUC", "RMSE") se eliminan y reemplazan por frases genéricas como "un procedimiento de evaluación estándar". Los datos, el objetivo y el formato de envío permanecen sin cambios.
   • Objetivo: Crear ambigüedad sobre si el agente debe enviar probabilidades, etiquetas duras o cómo optimizar (por ejemplo, maximizar frente a minimizar).

Protocolo de Verificación:
Cada variante ambigua pasa por una rigurosa tubería de verificación que incluye revisión humana y auditorías de LLM de diferentes familias frente a una lista de verificación de cuatro elementos:

• Alternativas Plausibles: Existen al menos dos estructuraciones razonables.
• Preservación de la Ambigüedad: Ninguna pista revela la estructuración pretendida en la indicación o los datos.
• Relevancia de la Decisión: Resolver la ambigüedad cambia una elección crítica a nivel de tarea (por ejemplo, selección de objetivo, tipo de salida).
• Preservación de la Tarea: La edición no altera información de la tarea no relacionada.

Condiciones de Evaluación:
Los agentes se evalúan bajo tres condiciones:

1. Completa: La tarea original, totalmente especificada.
2. Ambig.: La variante ambigua sin canal de aclaración. Los agentes deben comprometerse en silencio.
3. Preguntar: La variante ambigua donde el agente puede hacer una pregunta de aclaración autocontenida (≤50 palabras) a un Oráculo de Aclaración antes de modelar. El oráculo responde con verdad pero se restringe a la variable de estructuración faltante específica (nombre del objetivo o detalles de la métrica) y rechaza solicitudes fuera de alcance.

Contribuciones Clave

1. Formalización de la Estructuración de Tareas: El artículo aísla dos variables de estructuración centrales: el objetivo de predicción ($T$) y el objetivo de evaluación ($M$). Define la "mala estructuración no señalizada" como el fallo en reconocer la insuficiencia de especificación y comprometerse con una estructuración no intencionada sin preguntar.
2. Métrica Ambig-DS: El lanzamiento de dos conjuntos diagnósticos (112 tareas emparejadas en total) construidos mediante intervenciones controladas que preservan los evaluadores originales de la métrica fuente. Esto asegura que las caídas de rendimiento sean atribuibles únicamente a la ambigüedad de estructuración, y no a cambios en las reglas de puntuación.
3. Cuantificación Empírica: El artículo cuantifica la prevalencia de la mala estructuración silenciosa y la calibración del comportamiento "preguntar-antes-de-actuar" en cinco agentes de código de vanguardia y eficientes (Gemini 3 Flash/Pro, GPT-5.4 Nano/Pro, Claude Haiku 4.5).

Resultados

1. La Mala Estructuración Silenciosa es Prevalente

En todos los agentes, la ambigüedad induce una degradación significativa del rendimiento:

• Ambigüedad de Objetivo: Los agentes se comprometen con un objetivo incorrecto en el 39–63% de las ejecuciones ambiguas (dependiendo del modelo). Estas son tuberías válidas y ejecutables que resuelven el problema incorrecto.
• Ambigüedad de Objetivo: Los agentes exhiben fallo silencioso en el 16–62% de las ejecuciones. Esto se divide en dos modos:
  • Mala Estructuración: Optimizar para una métrica plausible pero no intencionada (por ejemplo, precisión en lugar de AUC).
  • Abdicación: Enviar una línea base degenerada (por ejemplo, predicciones constantes) en lugar de intentar resolver la ambigüedad.
• Compromiso Silencioso: Incluso cuando los agentes reconocen la ambigüedad en sus trazas internas, rara vez señalan el compromiso final como modificable por el usuario. El fallo se caracteriza por un "compromiso silencioso" con una estructuración predeterminada.

2. La Aclaración Recupera el Rendimiento

Cuando se permite a los agentes hacer una sola pregunta al oráculo:

• Recuperación: El rendimiento se recupera significativamente, con $\Delta_{ask}$ (puntuación de Preguntar menos puntuación de Ambig) oscilando entre +0.03 y +0.20.
• Capacidad frente a Detección: Los agentes demuestran la capacidad de integrar información de estructuración cuando se les proporciona perfectamente (la recuperación es alta), pero carecen de la calibración para detectar cuándo preguntar.
• Fallo de Calibración: Ninguna combinación de modelo-indicación logra una calibración robusta:
  • Indicaciones Permisivas: Conducen a una alta recuperación en tareas ambiguas, pero a muchos falsos positivos (hacer preguntas innecesarias) en tareas totalmente especificadas.
  • Indicaciones Conservadoras: Reducen los falsos positivos pero suprimen las preguntas legítimas en tareas ambiguas, lo que lleva a predeterminados silenciosos.

3. Firmas de Fallo

• Conjunto de Objetivos: Los fallos son envíos discretos de objetivos incorrectos.
• Conjunto de Objetivos: Los fallos son una mezcla de mala estructuración sustantiva (métrica incorrecta) y abdicación (rendirse).
• Consistencia entre Conjuntos: El patrón de degradación bajo ambigüedad y recuperación bajo aclaración se mantiene a través de diferentes familias de modelos (Gemini, GPT, Claude) y no es un artefacto de los oráculos o modelos jueces específicos utilizados.

Significado y Afirmaciones

El artículo afirma que reconocer la insuficiencia de especificación de objetivos y metas es el cuello de botella que falta en las evaluaciones estándar de agentes de ciencia de datos.

• Desacoplamiento de Competencias: El trabajo separa la competencia de ejecución de tuberías (¿puede el agente ejecutar código?) de la competencia de estructuración de tareas (¿sabe el agente qué resolver?). Las métricas estándar confunden estas dos al asumir que la tarea está totalmente especificada.
• Señales Accionables:
  • Para Usuarios: Las variables de estructuración (objetivo, métrica, tipo de salida) deben especificarse explícitamente; omitirlas provoca caídas de rendimiento fiables incluso para agentes capaces.
  • Para Constructores: La "calibración de preguntar-actuar" debería ser un objetivo concreto para el post-entrenamiento o la ingeniería de indicaciones. Las estrategias actuales de indicaciones desplazan el punto de operación, pero no generan una sensibilidad robusta a la ambigüedad relevante para la decisión.
  • Para Diseñadores de Métricas: Las métricas deben emparejar tareas totalmente especificadas con variantes ambiguas diagnósticas para evitar sobreestimar la competencia del agente.

Los autores mantienen una postura modesta, señalando que Ambig-DS es un conjunto diagnóstico controlado, no un censo de toda la ambigüedad del mundo real. Los resultados estiman modos de fallo bajo ambigüedad verificada y relevante para la decisión, en lugar de proporcionar una tasa de prevalencia para todas las tareas de ciencia de datos. El estudio destaca que, aunque los agentes pueden usar información faltante si se les ofrece, actualmente no pueden detectar fiablemente cuándo la necesitan.