Distilling Examples into Task Instructions: Enhanced In-Context Learning for Real-World B2B Conversations

Resumen Técnico: Destilación de Ejemplos en Instrucciones de Tarea para un Aprendizaje en Contexto Mejorado en Conversaciones B2B del Mundo Real

Planteamiento del Problema
Si bien el Aprendizaje en Contexto (ICL, por sus siglas en inglés) se ha convertido en el estándar para la clasificación de bajos recursos en el Procesamiento de Lenguaje Natural (NLP) general, su eficacia en dominios especializados y de alto riesgo como las ventas de Negocio a Negocio (B2B) sigue siendo poco explorada. Las conversaciones B2B se caracterizan por su complejidad semántica, la dinámica de múltiples partes y ciclos de venta prolongados. El artículo identifica una limitación crítica al aplicar el ICL de pocos disparos (few-shot) estándar en estos dominios: a medida que aumenta el número de ejemplos de pocos disparos para mejorar el rendimiento, la concatenación de fragmentos conversacionales verbosos conduce a una degradación severa del desempeño. Este fenómeno contradice la suposición convencional de que más ejemplos siempre producen mejores resultados. Además, el ICL estándar carece de transparencia; la lógica de clasificación es implícita dentro de los ejemplos, lo que dificulta que un auditor humano comprenda o refine el proceso de toma de decisiones, un prerrequisito para la confianza en aplicaciones empresariales.

Metodología
Los autores proponen un marco novedoso que cambia la concatenación de ejemplos por la extracción automatizada de conocimiento. En lugar de introducir fragmentos de ejemplos de pocos disparos directamente en el prompt, el sistema utiliza un Modelo de Lenguaje Grande (LLM) para destilar un pequeño conjunto de ejemplos etiquetados en representaciones compactas e interpretables. Este proceso ocurre en dos etapas principales:

1. Extracción de Conocimiento: Dado un intento de tarea definido por el usuario y un pequeño conjunto de ejemplos etiquetados, el LLM genera uno de dos tipos de salidas estructuradas:

   • Criterios: Listas explícitas de condiciones positivas y negativas que indican la presencia o ausencia de un concepto.
   • Descripciones: Narrativas exhaustivas en lenguaje natural que definen la tarea de clasificación, capturando la esencia del concepto y sus límites.
   • Variantes Iterativas: El marco también explora la generación de criterios a partir de descripciones (Criteria-De) y descripciones a partir de criterios (Description-Cr) para refinar la representación del conocimiento.

2. Clasificación: El conocimiento generado (criterios o descripción) reemplaza a los ejemplos de pocos disparos originales en el prompt de clasificación. El LLM objetivo clasifica entonces los nuevos fragmentos conversacionales basándose en estas instrucciones explícitas en lugar de en el emparejamiento de patrones implícito de los ejemplos.

Este enfoque se distingue de las estrategias existentes como la selección de ejemplos basada en recuperación, la optimización de prompts o la compresión a nivel de token (por ejemplo, LLMLingua-2), que a menudo resultan en salidas incoherentes o fragmentadas. El método propuesto mantiene la coherencia mientras reduce drásticamente el uso de tokens.

El Conjunto de Datos Call Playbook
Para evaluar este enfoque, los autores introducen el Call Playbook, un nuevo conjunto de datos anotado derivado de 50 llamadas de ventas B2B reales en inglés (de 30 a 90 minutos cada una). El conjunto de datos se centra en cinco conceptos centrales de ventas:

• Objetivos de Negocio
• Criterios de Decisión
• Tomadores de Decisiones
• Proceso de Toma de Decisiones
• Puntos de Dolor (Pain Points)

Los datos están anotados a nivel de fragmento (secuencias superpuestas de cinco monólogos) con etiquetas binarias para cada concepto. El conjunto de datos está balanceado, anonimizado y diseñado para reflejar la naturaleza fluida y de múltiples partes interesadas de las negociaciones de ventas reales.

Resultados Clave
Los experimentos realizados en cinco LLMs (GPT-4o, Claude Sonza 3.7, Claude Haiku 3, Mistral Large, Mistral Small) y con diversos conteos de pocos disparos (de 0 a 100 ejemplos) arrojan los siguientes hallazgos:

• Robustez del Rendimiento: A diferencia de los métodos estándar de pocos disparos, que se degradan significativamente a medida que aumenta el número de ejemplos (cayendo de ~71.5% a ~60.7% de F1 con 100 disparos), los métodos de extracción de conocimiento propuestos se mantienen robustos. Específicamente, Description-Ex muestra una mejora constante, y Criteria-De logra las mayores ganancias generales (hasta 72.2% F1).
• Eficiencia de Tokens: Los métodos propuestos logran una reducción del 99% en el uso de tokens en comparación con el aprendizaje tradicional de pocos disparos. Mientras que los métodos estándar escalan linealmente con el número de ejemplos (alcanzando ~25,000 tokens con 100 disparos), los métodos basados en conocimiento permanecen planos (menos de 600 tokens para criterios, menos de 200 para descripciones).
• Superioridad sobre la Compresión: El método supera a las líneas base de compresión a nivel de token (Selective Context y LLMLingua-2). Mientras que los métodos de compresión degradan más de 9 puntos de F1 a medida que el contexto crece, el enfoque de destilación mantiene o mejora el rendimiento.
• Destilación entre Modelos: El conocimiento generado por modelos más grandes y capaces (por ejemplo, Claude Sonnet 3.7) puede transferirse eficazmente a modelos más pequeños (por ejemplo, Mistral Small), mejorando su rendimiento sin necesidad de reentrenamiento.
• Humano en el Bucle (Human-in-the-Loop): El marco permite el refinamiento directo por parte del humano. Los anotadores humanos pudieron modificar los criterios y descripciones generados para mejorar el rendimiento de la clasificación (hasta +2.65% F1), demostrando la interpretabilidad y utilidad de los artefactos extraídos.

Significado y Reivindicaciones
El artículo sostiene que su marco aborda las necesidades críticas de transparencia, eficiencia y la interacción del usuario en aplicaciones de NLP del mundo real. Al convertir el aprendizaje opaco basado en ejemplos en instrucciones de tarea explícitas y estructuradas, el método permite:

1. Auditabilidad: La lógica de clasificación es transparente y puede ser revisada por humanos.
2. Escalabilidad: Los ahorros computacionales significativos permiten una inferencia más rápida y menores costos, particularmente a medida que el volumen de datos crece.
3. Flexibilidad: El sistema soporta el refinamiento dinámico de la lógica de clasificación sin necesidad de reentrenar modelos o rediseñar prompts desde cero.

Los autores posicionan este trabajo como una evolución necesaria para la analítica B2B, donde la complejidad del dominio y la necesidad de una IA interpretable hacen que el ICL tradicional de pocos disparos sea insuficiente. El enfoque ofrece una vía para la clasificación escalable, transparente y eficiente en contextos de negocios especializados.