OrgForge: A Multi-Agent Simulation Framework for Verifiable Synthetic Corporate Corpora

El artículo presenta OrgForge, un marco de simulación multiagente de código abierto que genera corpora corporativos sintéticos verificables y temporalmente coherentes mediante la separación de una lógica determinista de eventos de la generación de texto por LLM, permitiendo así la evaluación rigurosa de sistemas de generación aumentada por recuperación (RAG).

Lo esencial

Imagina que quieres entrenar a un nuevo empleado muy inteligente (una Inteligencia Artificial) para que trabaje en una empresa gigante. Para hacerlo, le das una pila de documentos: correos, mensajes de chat, informes técnicos y tickets de soporte. Tu objetivo es ver si el empleado puede encontrar la respuesta correcta a una pregunta específica en medio de ese caos.

El problema es que, hasta ahora, los "documentos de entrenamiento" que teníamos eran de dos tipos:

1. Documentos reales viejos: Como los correos de la empresa Enron. Son reales, pero están llenos de problemas legales, desordenados y nadie sabe con certeza qué pasó realmente en cada momento. Es como intentar aprender a conducir viendo un video borroso de un accidente.
2. Documentos inventados por IA: La IA escribe correos y chats que parecen reales. Pero aquí está el truco: la IA a veces se confunde. Puede escribir en un correo que "el servidor cayó a las 3:00 AM" y en un ticket de soporte decir que "cayó a las 9:00 AM". Como no hay un "juez" real, la IA no se da cuenta de su error. Si entrenas a tu empleado con estos documentos, aprenderá mentiras y contradicciones.

OrgForge es la solución a este problema. Es como un simulador de vuelo para empresas.

¿Cómo funciona OrgForge? (La analogía del Director de Orquesta)

Imagina que OrgForge es una obra de teatro donde hay dos grupos de personas que nunca se mezclan:

1. El Director de Escena (El Motor Determinista): Este es un programa de computadora muy estricto que no usa Inteligencia Artificial creativa. Él tiene un cuaderno de notas perfecto (llamado SimEvent). Él decide:

   • ¿Qué hora es?
   • ¿Quién está trabajando?
   • ¿Qué problema técnico ocurrió y a qué hora exacta?
   • ¿Quién está estresado?
   • Él es la única verdad. Si dice que el servidor cayó a las 3:00 AM, eso es un hecho inmutable.

2. Los Actores (Los Modelos de Lenguaje/IA): Estos son los que escriben los mensajes, los correos y los chats. Su trabajo es solo escribir el texto (la "prosa").

   • Antes de que un actor escriba una sola palabra, el Director de Escena le entrega una tarjeta con los hechos reales: "Escribe un mensaje de chat diciendo que el servidor cayó a las 3:00 AM y que Juan está estresado".
   • El actor escribe el mensaje con su estilo natural, pero no puede inventar hechos. Si intenta decir que el servidor cayó a las 9:00 AM, el Director de Escena le dice: "¡No! Eso no pasó. Reescribe".

Los trucos mágicos del sistema

El paper describe varias "reglas del juego" que hacen que este simulador sea increíblemente realista:

• El Reloj de Cada Personaje (Sim Clock): En la vida real, si dos personas hablan por chat, el mensaje de respuesta siempre llega después del mensaje original. En los simuladores antiguos, a veces la IA ponía fechas al azar y el mensaje de respuesta salía antes que la pregunta. OrgForge tiene un reloj personal para cada empleado que asegura que el tiempo siempre fluya hacia adelante de forma lógica.
• El Efecto Dominó del Estrés: Si un empleado clave (el que conecta a todos los demás) tiene mucho trabajo, el estrés se "derrama" hacia sus compañeros, como si el estrés fuera un líquido que se desborda de un vaso lleno. El sistema calcula matemáticamente quién se estresa y quién se relaja, creando una red social realista.
• El Ruido de Fondo (Interrupciones Sociales): Las empresas reales no son solo trabajo duro. La gente habla de comida, hace chistes o pierde tiempo en el baño. OrgForge añade este "ruido" de forma controlada. Esto es vital para probar si la IA puede distinguir entre un mensaje importante ("¡El servidor se cayó!") y uno irrelevante ("¿Alguien tiene azúcar?").
• El Correo Externo: El sistema simula correos de clientes o proveedores. A veces, estos correos se pierden o no se responden (una "brecha" en la comunicación). Esto permite probar si la IA es lo suficientemente inteligente para decir: "Oye, este correo nunca llegó a nadie", en lugar de inventar una respuesta falsa.

¿Para qué sirve todo esto?

Los creadores de OrgForge usan este simulador para crear un examen de prueba perfecto para las IAs empresariales.

Generan miles de documentos (correos, tickets, chats) que son 100% consistentes. Luego, hacen preguntas como:

• "¿Qué ticket se creó justo después de que el proveedor envió la alerta?"
• "¿Quién estaba disponible para ayudar el martes a las 10:00 AM?"
• "¿Por qué este correo de queja no tuvo respuesta?"

Como el sistema sabe exactamente qué pasó (porque el Director de Escena lo anotó todo), puede calificar la IA con precisión:

• Si la IA acierta: ¡Bien!
• Si la IA inventa algo: ¡Mala nota!
• Si la IA encuentra la respuesta correcta pero no sabe explicar por qué: ¡Media nota!

En resumen

OrgForge es como un laboratorio de física para empresas. En lugar de dejar que la IA invente su propia realidad (lo cual lleva a mentiras y confusiones), OrgForge construye una realidad falsa pero perfecta, donde cada hecho tiene una fecha, una hora y una causa verificable.

Esto permite a los investigadores decir: "Hemos probado tu sistema de Inteligencia Artificial en una empresa simulada tan realista que parece verdadera, pero sabemos exactamente la respuesta correcta a cada pregunta. Ahora podemos ver si tu IA realmente funciona o si solo está adivinando".

Es una herramienta para limpiar el ruido, eliminar las mentiras de la IA y crear un estándar de oro para evaluar cómo funcionan estas tecnologías en el mundo real.

Resumen técnico

Resumen Técnico: OrgForge

1. El Problema

La evaluación de sistemas de Generación Aumentada por Recuperación (RAG) en entornos empresariales enfrenta una carencia crítica de datos de referencia (ground truth) fiables.

• Limitaciones de datos reales: Conjuntos de datos existentes como el corpus de Enron sufren de ambigüedad legal, sesgos demográficos y, lo más importante, carecen de una verdad fundamental estructurada para verificar si un sistema recuperó los hechos correctos.
• Limitaciones de datos sintéticos actuales: Los corpora generados puramente por Modelos de Lenguaje (LLM) carecen de consistencia interna. Un LLM puede generar un hilo de Slack que contradice un ticket de JIRA (ej. diferentes horas de inicio de un incidente) porque no existe un mecanismo externo que valide la coherencia factual entre documentos. Esto corrompe silenciosamente las evaluaciones de RAG.

2. Metodología: Arquitectura de OrgForge

OrgForge es un marco de simulación multi-agente de código abierto diseñado para generar corpora corporativos sintéticos con una verdad fundamental verificable. Su núcleo es una separación estricta entre la "física" (hechos) y la "cognición" (prosa).

La simulación se define formalmente como una tupla M = (S, P, V, E):

• S (Estado): Un modelo Pydantic que mantiene variables mutables (salud del sistema, moral del equipo, estrés de los ingenieros, tickets abiertos).
• P (Planificadores): Agentes basados en LLM que proponen actividades diarias en formato JSON. Solo proponen, no ejecutan ni modifican el estado directamente.
• V (Validador): Una función determinista que filtra las propuestas de los LLM contra el estado actual y el registro de eventos. Rechaza alucinaciones (ej. empleados fantasma, celebraciones durante una crisis crítica).
• E (Eventos): El registro SimEvent, una bitácora inmutable y append-only que actúa como la única fuente de verdad. Los LLM nunca escriben aquí; solo leen contexto desde ella.

Mecanismos Clave de la Simulación:

1. Reloj Local por Actor (sim_clock.py): Elimina inconsistencias temporales. Cada empleado tiene su propio cursor de tiempo. Las marcas de tiempo de los artefactos se derivan de este estado, garantizando que la respuesta a un incidente siempre tenga una marca de tiempo posterior a la alerta, eliminando paradojas temporales comunes en datos sintéticos.
2. Dinámica de Grafos Determinista: El comportamiento organizacional se rige por tres mecanismos matemáticos independientes de los LLM:
   • Propagación de Estrés: Basada en la centralidad de intermediación (betweenness centrality). Los nodos clave ("key players") transmiten estrés a sus vecinos si superan un umbral de agotamiento.
   • Decaimiento Temporal de Pesos de Aristas: Las relaciones se fortalecen con la colaboración (revisión de PR, incidentes) y se debilitan por falta de interacción.
   • Enrutamiento de Escalación (Dijkstra): Los incidentes se escalan a través del camino más corto en un grafo de costos inverso (donde la fuerza de la relación reduce el costo), simulando flujos de comunicación realistas.
3. Generación de Artefactos: Una vez validada la propuesta, se generan textos superficiales (Slack, JIRA, Confluence, Git, Emails) que reflejan el estado del registro SimEvent.
4. Ruido Social y Capacidad: Se introduce un modelo de "interrupción social" (conversaciones informales) que consume capacidad de los actores, creando artefactos de baja señal y variabilidad en la capacidad de trabajo, simulando el ruido benigno de una empresa real.
5. Motor de Correo Externo: Simula interacciones con proveedores y clientes, incluyendo la probabilidad de que correos sean "desechados" (no procesados), creando brechas verificables para evaluar la detección de ausencia de evidencia.

3. Contribuciones Clave

• Arquitectura de Frontera Física-Cognición: Separación formal que impide que las alucinaciones de los LLM contaminen los hechos del corpus.
• Consistencia Causal Temporal: Garantía de que la secuencia de eventos (alerta -> ticket -> PR -> post-mortem) es cronológicamente coherente en todos los tipos de documentos.
• Sistema de Rastreo de Cadenas Causales: Construye grafos ordenados de artefactos por incidente, permitiendo evaluar el razonamiento de múltiples saltos (multi-hop).
• Pipeline de Evaluación Completo: Incluye generación de 8 categorías de preguntas (Recuperación, Causalidad, Temporal, Detección de Brechas, etc.), puntuación determinista con crédito parcial y exportación a HuggingFace.
• Detección de Recurrencia Híbrida: Utiliza Reciprocal Rank Fusion (RRF) combinando búsqueda vectorial y de texto para identificar incidentes repetidos basados en causas raíz.

4. Resultados y Evaluación

El autor ejecutó una simulación de 22 días laborales con una organización de 43 personas, generando 1,079 documentos y 83 preguntas de evaluación.

• Costo Computacional: La simulación requirió ~953 llamadas a LLM (costo total ~$285 USD) y 3 horas de tiempo de ejecución.
• Líneas Base de Recuperación:
  • BM25 (Búsqueda por palabras clave): Superó a la búsqueda densa en la mayoría de las categorías, especialmente en preguntas Causales (MRR@10 = 0.54), debido a la coincidencia exacta de terminología en documentos de post-mortem.
  • Búsqueda Densa (Embeddings 1.5B): Rindió peor en general (MRR@10 = 0.20) y falló completamente en preguntas de Planificación y Escalación. Esto sugiere que los embeddings genéricos no capturan bien el vocabulario estructurado de artefactos empresariales.
  • Puntos Débiles Identificados: Ambos métodos obtuvieron puntuación cero en preguntas de Escalación y Planificación, indicando que el razonamiento de múltiples saltos y la comprensión de contextos de planificación no se resuelven solo con recuperación de texto.
  • Detección de Brechas: El sistema demostró capacidad para generar "brechas" verificables (correos no procesados) que los sistemas de RAG deben detectar como ausencia de evidencia.

5. Significado e Impacto

OrgForge representa un cambio de paradigma en la evaluación de RAG:

1. Verificabilidad: Proporciona el primer corpus sintético donde la verdad fundamental es matemáticamente garantizada, permitiendo medir la precisión real de recuperación y razonamiento.
2. Realismo Estructural: A diferencia de los datos sintéticos anteriores, OrgForge modela la dinámica organizacional (estrés, relaciones, escalas de tiempo) de manera determinista, no aleatoria.
3. Base para Futuras Investigaciones: Establece un estándar para evaluar no solo la recuperación de información, sino también la capacidad de los agentes para manejar la ausencia de evidencia, la consistencia temporal y el razonamiento causal en entornos empresariales complejos.
4. Reproducibilidad: Al ser de código abierto y configurable, permite a la comunidad generar corpus reproducibles con semillas fijas para comparar modelos de manera justa.

En conclusión, OrgForge cierra la brecha entre la implementación de RAG en empresas y la capacidad de evaluarla rigurosamente, ofreciendo un entorno de prueba donde los fallos del sistema se deben a deficiencias reales en la recuperación o el razonamiento, y no a inconsistencias en los datos de prueba.