Losses that Cook: Topological Optimal Transport for Structured Recipe Generation

1. Planteamiento del Problema

La generación de recetas de cocina mediante modelos de lenguaje (LLM) presenta un desafío único que va más allá de la fluidez textual. Una receta utilizable requiere:

• Coherencia factual y procedimental: Los ingredientes, cantidades, tiempos y temperaturas deben ser correctos y ejecutables.
• Sensibilidad a errores críticos: La omisión de un ingrediente clave (ej. "huevos" en una carbonara) o un error en la temperatura puede hacer que toda la receta sea inútil, incluso si el texto es gramaticalmente perfecto.

El problema central identificado es que los procedimientos de entrenamiento estándar, basados en la Entropía Cruzada (Cross-Entropy, CE), tratan todos los tokens por igual. Esto ignora la asimetría entre tokens de alto impacto (ingredientes, números, acciones) y palabras de conexión de bajo impacto. Como resultado, los modelos optimizados solo con CE suelen fallar en la recuperación de ingredientes, la precisión numérica y la coherencia de las instrucciones. Además, las métricas estándar de generación de lenguaje natural (como ROUGE o BERTScore) no capturan adecuadamente la precisión estructural y factual necesaria en este dominio.

2. Metodología

Los autores proponen un enfoque que combina la fine-tuning de Modelos de Lenguaje Pequeños (SLMs) con nuevas funciones de pérdida diseñadas para capturar la estructura de las recetas.

A. Datos y Tarea

• Dataset: Se utiliza un subconjunto de 5,000 recetas de RECIPE-NLG (enfocado en pasta, arroz y sándwiches) más 235 preguntas curadas manualmente sobre sustitución de ingredientes, escalado de recetas y razonamiento numérico.
• Formato: El modelo genera un objeto JSON estructurado con listas de ingredientes y pasos de instrucción.
• Preprocesamiento: Conversión de todas las unidades de medida al sistema métrico para garantizar consistencia numérica.

B. Funciones de Pérdida Propuestas

El núcleo de la contribución es la introducción de una Pérdida Topológica y su combinación con otras funciones de pérdida:

1. Pérdida Topológica (Topological Loss):

   • Concepto: Representa las listas de ingredientes como nubes de puntos en el espacio de incrustaciones (embedding space).
   • Mecanismo: En lugar de comparar token por token, el modelo genera incrustaciones suaves (soft embeddings) a partir de los logits de salida y las compara con las incrustaciones de la verdad fundamental (ground truth).
   • Cálculo: Utiliza la divergencia de Sinkhorn (una aproximación diferenciable de la distancia de transporte óptimo o Wasserstein) para medir la disimilitud geométrica entre las nubes de puntos predichas y las reales.
   • Objetivo: Penalizar no solo la falta de un token, sino también los desplazamientos semánticos (ej. cambiar "sal" por "pimienta") y las desviaciones estructurales, asegurando que la lista de ingredientes predicha tenga una coherencia geométrica y semántica con la original.

2. Pérdida Dice (Dice Loss):

   • Se adapta de la visión por computadora para optimizar la superposición a nivel de conjunto, ayudando a recuperar tokens críticos y reducir omisiones, especialmente en cantidades y tiempos.

3. Pérdida Focal (Focal Loss):

   • Se incluye como referencia para reponderar ejemplos difíciles, aunque los resultados muestran que es menos efectiva que las propuestas topológicas para este dominio específico.

C. Configuración Experimental

• Modelo Base: Qwen3-4B (ajustado con LoRA).
• Objetivos Compuestos: Se combinan las nuevas pérdidas con la Entropía Cruzada (CE) para mantener la fluidez lingüística mientras se mejora la precisión estructural (ej. $L = 0.6L_{CE} + 0.4L_{Topo}$).
• Métricas de Evaluación: Además de ROUGE y BERTScore, se introducen métricas específicas para recetas:
  • Recuperación de Ingredientes (IR), Precisión de Cantidad (QP), Precisión de Acción (AP).
  • Distancia de Edición para acciones y pasos completos.
  • Precisión de Tiempo y Temperatura.

3. Contribuciones Clave

1. Pérdida Topológica para Ingredientes: La primera aplicación de transporte óptimo (Sinkhorn divergence) en el espacio de incrustaciones para alinear listas de ingredientes, tratando la receta como una estructura geométrica y no solo una secuencia de tokens.
2. Métricas Específicas de Dominio: Desarrollo de un conjunto de métricas que evalúan la ejecutabilidad y precisión factual de las recetas, superando las limitaciones de las métricas de similitud semántica estándar.
3. Análisis de Compensaciones (Trade-offs): Demostración de que diferentes pérdidas optimizan diferentes aspectos: la pérdida Dice es superior para precisión numérica (tiempo/temperatura), mientras que la pérdida Topológica es superior para la coherencia de ingredientes y acciones.
4. Evaluación Humana Rigurosa: Validación mediante anotadores expertos que confirman la preferencia por los modelos entrenados con las nuevas pérdidas.

4. Resultados

Los experimentos demuestran mejoras significativas sobre los modelos base y el entrenamiento solo con CE:

• Rendimiento Cuantitativo:

  • La combinación Topo + Dice logra el mejor rendimiento global, superando a CE en todas las métricas específicas de recetas.
  • La Pérdida Topológica por sí sola ofrece las mayores mejoras en Recuperación de Ingredientes (IR), Precisión de Acción (AP) y reduce las distancias de edición de pasos (mejor coherencia procedimental).
  • La Pérdida Dice destaca en Precisión de Temperatura (TeP) y Tiempo (TiP).
  • Los modelos fine-tuned superan consistentemente a modelos pre-entrenados grandes (como Qwen3-14B y Gemini 2.0) en métricas de estructura y facticidad, a pesar de tener menos parámetros.

• Evaluación Humana:

  • En comparaciones pareadas, el modelo Topo+Dice fue preferido sobre el modelo base (CE) en el 62% de los casos (84% de tasa de victoria excluyendo empates).
  • Se observó una reducción del 67.5% en errores de generación (de un 24.0% en CE a un 7.8% en Topo+Dice).
  • Los errores críticos como "desajustes de pasos", "ingredientes faltantes" y "alucinaciones" se eliminaron casi por completo.

5. Significado e Impacto

Este trabajo demuestra que el diseño cuidadoso de funciones de pérdida puede mejorar drásticamente la generación de texto estructurado en dominios de alta precisión sin necesidad de aumentar el tamaño del modelo ni la complejidad en tiempo de inferencia.

• Generalización: Los resultados se mantienen consistentes en diferentes arquitecturas y escalas de parámetros (probado también en SmolLM3-3B y Qwen2.5-1.5B).
• Aplicabilidad: El enfoque es crucial para aplicaciones donde la precisión factual es vital (medicina, cocina, ingeniería), donde la fluidez textual por sí sola es insuficiente.
• Futuro: Los autores sugieren escalar a más cocinas y restricciones dietéticas, e incorporar validaciones de seguridad explícitas.

En resumen, el artículo propone un cambio de paradigma: pasar de optimizar la probabilidad de tokens individuales a optimizar la estructura geométrica y semántica del conjunto de datos generados, logrando recetas más seguras, precisas y ejecutables.