OrgForge: A Multi-Agent Simulation Framework for Verifiable Synthetic Corporate Corpora

O artigo apresenta o OrgForge, um framework de simulação multiagente de código aberto que gera corpora corporativos sintéticos verificáveis e temporalmente consistentes, combinando um motor determinístico de eventos com modelos de linguagem para criar dados realistas de múltiplos formatos (como Slack e JIRA) com ground truth imutável para avaliação de pipelines RAG.

O essencial

Imagine que você é um treinador de futebol tentando preparar sua equipe para a Copa do Mundo. Para treinar, você precisa de um campo de simulação onde você possa criar cenários perfeitos: "E se o goleiro se machucar no minuto 10? E se chover torrencialmente no segundo tempo?".

O problema é que, na vida real, você não consegue controlar tudo. E se você pedir para um robô (uma Inteligência Artificial) escrever esses cenários para você, ele pode inventar coisas que não fazem sentido, como dizer que o jogo começou às 14h, mas o gol foi marcado às 13h. Isso chamamos de "alucinação". Se você treinar sua equipe com dados errados, eles vão falhar na vida real.

É exatamente aqui que entra o OrgForge, o sistema apresentado por Jeffrey Flynt.

O Que é o OrgForge?

Pense no OrgForge como um "Simulador de Empresa com Regras de Física".

Em vez de deixar a Inteligência Artificial (IA) inventar a história inteira de uma empresa, o OrgForge separa o trabalho em duas partes distintas, como se fosse uma peça de teatro:

1. O Diretor de Cena (O Motor Determinístico): É um programa de computador rígido e lógico. Ele decide o que acontece de verdade.
   • Exemplo: "O servidor caiu às 14:00. O engenheiro João foi chamado. O ticket foi aberto."
   • Ele mantém um "diário de bordo" (Ground Truth) imutável. Nada pode mudar o que está escrito lá.
2. Os Atores (As IAs de Texto): São as IAs generativas (como o GPT). Elas só escrevem o que as pessoas dizem e escrevem com base no que o Diretor de Cena decidiu.
   • Exemplo: O Diretor diz "João está estressado". A IA escreve: "João manda uma mensagem no Slack: 'Estou exausto, preciso de ajuda!'".
   • A Regra de Ouro: A IA não pode inventar fatos. Ela só pode escrever o "texto" (a prosa) baseado no fato que o Diretor já validou.

Como Funciona a "Física" da Empresa?

O OrgForge não é apenas um gerador de texto; ele simula como as pessoas se sentem e se relacionam, usando três "leis da física" corporativa:

• A Lei do Estresse (Propagação): Imagine que o estresse é como um vírus. Se o "engenheiro-chave" (aquele que todo mundo conhece) entra em pânico, o estresse dele "vaza" para os colegas próximos. O sistema calcula quem é mais importante na rede e espalha o estresse de forma lógica.
• A Lei do Relacionamento (Decaimento e Reforço): Se dois colegas trabalham juntos em um projeto, a "amizade" (ou conexão) entre eles fica mais forte. Se eles não se falam por dias, a conexão enfraquece. O sistema atualiza esses laços todos os dias.
• A Lei da Escalada (O Caminho Mais Curto): Quando algo dá muito errado (um P1), o sistema não escolhe aleatoriamente quem chamar. Ele usa um mapa mental (como o GPS) para encontrar o caminho mais rápido através das conexões mais fortes até chegar no chefe certo.

O Relógio Mágico (Causalidade)

Um dos maiores problemas em simulações antigas era o tempo. O sistema podia dizer que um e-mail foi enviado antes do problema ser descoberto.

O OrgForge usa um "Relógio Local". Cada funcionário tem seu próprio relógio interno.

• Se o João está trabalhando em duas coisas ao mesmo tempo, o relógio dele avança para frente.
• Se a Maria responde ao João, o relógio dela só avança depois que o relógio do João mostrou que ele enviou a mensagem.
  Isso garante que a linha do tempo nunca quebre. Nada acontece antes de ter uma causa.

Para Que Serve Tudo Isso?

O objetivo final é criar um "Campo de Treino Perfeito" para testar sistemas de IA que ajudam empresas a encontrar informações (chamados de RAG - Retrieval-Augmented Generation).

Hoje, testamos essas IAs com dados reais (que têm segredos e erros) ou com dados falsos (que têm contradições). Com o OrgForge, temos:

1. Verdade Absoluta: Sabemos exatamente o que aconteceu, quando e por quê.
2. Ruído Realista: O sistema gera conversas inúteis (como "almoço de sexta-feira") misturadas com trabalho sério, para ver se a IA consegue filtrar o que é importante.
3. Buracos Detectáveis: O sistema pode simular um e-mail que foi enviado e nunca respondido. A IA de teste precisa saber dizer: "Ninguém respondeu a esse e-mail", em vez de inventar uma resposta.

O Resultado

Os autores testaram o sistema e criaram uma base de dados com mais de 1.000 documentos (e-mails, tickets, mensagens de chat) de uma empresa fictícia de 43 pessoas.

Eles descobriram que:

• Métodos simples de busca (como procurar palavras-chave) funcionam bem para encontrar a causa de um problema.
• Métodos mais complexos (que entendem o significado das frases) ainda têm dificuldade em entender a lógica de "quem foi escalado para resolver o problema" ou "o que estava acontecendo em uma data específica".

Resumo em Uma Frase

O OrgForge é como um "videogame de gestão empresarial" onde o código do jogo garante que a história faça sentido lógico, enquanto os personagens (IAs) falam de forma natural, criando um banco de dados perfeito para treinar e testar a inteligência artificial das empresas do futuro.

Resumo técnico

Resumo Técnico: OrgForge

1. O Problema

A avaliação de pipelines de Geração Aumentada por Recuperação (RAG) em ambientes corporativos enfrenta uma lacuna crítica: a falta de conjuntos de dados (corpora) que sejam ao mesmo tempo verificáveis, temporalmente estruturados e multi-artefato.

• Limitações de Dados Reais: Conjuntos como o Enron são legalmente sensíveis, apresentam viés demográfico e, crucialmente, carecem de uma "verdade fundamental" (ground truth) estruturada para validar se um sistema recuperou os fatos corretos.
• Limitações de Dados Sintéticos Atuais: Soluções que geram dados puramente via LLM (Modelos de Linguagem) sofrem de inconsistências internas. Um LLM pode gerar uma mensagem no Slack dizendo que um incidente começou às 3h e, separadamente, um ticket no JIRA dizendo que começou às 9h. Sem um mecanismo externo de controle, essas contradições corrompem silenciosamente a avaliação do RAG, pois não há como distinguir uma recuperação correta de uma coincidência em um corpus internamente inconsistente.

2. Metodologia e Arquitetura

O OrgForge resolve esse problema através de uma fronteira arquitetônica estrita entre o controle de fatos e a geração de prosa. O sistema é definido como uma tupla M = (S, P, V, E):

• S (Estado): Um modelo determinístico (Pydantic) que mantém todas as variáveis mutáveis da simulação (saúde do sistema, moral da equipe, tickets abertos, níveis de estresse).
• P (Planejadores): Agentes baseados em LLM que observam o estado e propõem atividades diárias em formato JSON estruturado. Eles influenciam a narrativa, mas não podem alterar os fatos diretamente.
• V (Validador): Uma função determinística que valida as propostas dos LLMs contra o estado atual e o histórico de eventos. Rejeita propostas que violam a lógica (ex: celebrar uma equipe durante uma falha crítica do sistema).
• E (Eventos): O log SimEvent, uma fonte única e imutável de verdade. Todos os fatos são registrados aqui antes de qualquer texto ser gerado.

Mecanismos Dinâmicos do Gráfico:
O comportamento organizacional é governado por três mecanismos matemáticos determinísticos, independentes do LLM:

1. Propagação de Estresse via Centralidade de Intermediação (Betweenness Centrality): O estresse se propaga através da rede social da empresa. Funcionários-chave (alta centralidade) que atingem um limiar de "burnout" transferem estresse para seus vizinhos, ponderado pela força do relacionamento.
2. Decaimento Temporal e Reforço de Bordas: As relações (pesos das arestas no grafo) decaem sem interação e fortalecem com colaboração (ex: revisão de PR, resposta a incidentes).
3. Roteamento de Escalada (Dijkstra): A escalada de incidentes é modelada como um problema de caminho mais curto em um grafo de pesos inversos (relações mais fortes = menor custo), garantindo que a informação flua pelos canais de comunicação mais prováveis.

Geração de Artefatos e Relógio Local:

• Relógio Local do Ator (Actor-Local Clock): Para garantir consistência causal, cada funcionário possui um cursor de tempo independente. Os timestamps dos artefatos são derivados desse estado, eliminando inconsistências temporais (ex: um alerta chegar antes do evento que o causou).
• Tipos de Artefatos: O sistema gera threads do Slack, tickets JIRA, páginas Confluence, PRs do Git, e-mails e logs de servidor.
• Rastreamento de Cadeia Causal: Um subsistema acumula grafos de artefatos ordenados para cada incidente, permitindo a reconstrução forense de linhas do tempo.
• Motor de E-mail Externo: Simula e-mails de fornecedores e clientes, incluindo a simulação probabilística de e-mails "perdidos" (não processados), criando lacunas verificáveis para testar a detecção de ausência de evidência.

3. Contribuições Principais

1. Arquitetura de Fronteira Fato-Prosa: Separação formal que impede alucinações de LLMs de contaminar a verdade fundamental do corpus.
2. Corpus Multi-Artefato Verificável: Geração de dados que cruzam múltiplos sistemas (Slack, JIRA, E-mail) com uma única linha do tempo causal consistente.
3. Mecanismos de Simulação Social: Implementação formal de propagação de estresse, dinâmica de relacionamentos e roteamento de escalada baseados em teoria de grafos.
4. Pipeline de Avaliação Completa: Um conjunto de ferramentas que gera 8 categorias de perguntas (Recuperação, Causal, Temporal, Detecção de Lacunas, etc.), pontua respostas com crédito parcial e exporta datasets prontos para o HuggingFace.
5. Ruído de Capacidade Realista: Introdução de "interrupções sociais" (conversas informais) que consomem tempo dos agentes, criando um ambiente de avaliação mais fiel à realidade corporativa do que corpora puramente baseados em tarefas.

4. Resultados e Avaliação

O artigo relata uma simulação de 22 dias úteis com uma organização sintética de 43 pessoas, gerando 1.079 documentos e 83 perguntas de avaliação.

• Custo Computacional: A simulação custou aproximadamente $285,30 em tokens de LLM, com 953 chamadas ao modelo.
• Linha de Base de Recuperação (Retrieval Baselines):
  • BM25 (Baseado em palavras-chave): Desempenhou-se melhor na maioria dos tipos de perguntas, especialmente em questões Causais (MRR@10 = 0,54), onde a terminologia técnica específica das post-mortem pages (Confluence) alinha-se bem com a busca por palavras-chave.
  • Recuperação Densa (Embeddings): Desempenhou-se pior no geral (MRR@10 = 0,20) e em quase todos os tipos de perguntas, exceto em RETRIEVAL (onde foi ligeiramente superior ao BM25). Isso sugere que embeddings genéricos de 1.5B parâmetros não capturam bem o vocabulário estruturado de artefatos corporativos.
  • Desempenho Zero: Ambos os métodos obtiveram pontuação zero em perguntas de PLANEJAMENTO e ESCALADA, indicando que a recuperação atual (seja por palavras-chave ou vetores) é insuficiente para raciocínio multi-hop complexo e detecção de ausência de evidência.

5. Significância e Impacto

O OrgForge representa um avanço fundamental para a pesquisa em RAG e avaliação de agentes:

• Reprodutibilidade e Controle: Oferece a primeira estrutura que permite a geração de corpora corporativos complexos onde a verdade fundamental é matematicamente garantida, permitindo testes rigorosos de consistência e raciocínio temporal.
• Novos Paradigmas de Avaliação: Move a avaliação além de perguntas simples de "busca" para cenários complexos de detecção de lacunas (saber o que não aconteceu) e raciocínio causal (rastrear a evolução de um incidente através de múltiplos sistemas).
• Base para Futuros Benchmarks: Estabelece um padrão para conjuntos de dados sintéticos que não apenas imitam a forma dos dados reais, mas também a estrutura lógica e causal subjacente, permitindo que pesquisadores testem a robustez de sistemas de IA em ambientes que simulam o caos e a complexidade organizacional real.

O código e os dados gerados estão disponíveis como open-source (MIT License) no GitHub e HuggingFace, permitindo que a comunidade reproduza e expanda os benchmarks.