Technische Samenvatting: InciteResearch en TF-Bench

Probleemstelling

Huidige AI-onderzoeksagenten tonen bekwaamheid in het automatiseren van downstream-taken zoals literatuuronderzoek, synthese en verfijning van manuscripten. Deze systemen opereren echter onder een kritieke beperking: ze gaan ervan uit dat de onderzoeksvraag al expliciet, handelbaar en goed gedefinieerd is. Ze fungeren als uitvoerders binnen een bestaand probleemveld, in plaats van als cognitieve extensies die kunnen deelnemen aan de oorsprong van onderzoek.

Menselijk wetenschappelijk onderzoek begint daarentegen vaak met "tacite wrijving" – een gevoel van misalignering, anomalie of ontevredenheid dat voorafgaat aan de formulering van een duidelijke vraag. Bestaande tools kunnen vage, domeinonafhankelijke of onvolgroeide intuïties niet verwerken omdat ze mechanismen missen om latente onderscheidingen te externaliseren, verborgen aannames te doorbreken, of de logische noodzaak van voorgestelde methoden te verifiëren. Het artikel betoogt dat AI, om als een ware extensie van menselijk denken te dienen, de kloof moet overbruggen tussen tacite intuïtie en expliciete wetenschappelijke ideatie, en moet gaan voorbij loutere recombinatie van bestaande kennis naar architecturale inzichten.

Methodologie: Het InciteResearch-raamwerk

De auteurs stellen InciteResearch voor, een multi-agent raamwerk ontworpen om vage menselijke inspiratie om te zetten in gestructureerde, handelbare onderzoeksvoorstellen. Het systeem wordt aangedreven door een cognitieve toestandsmachine gebaseerd op Aannemebreuk Hypothese Generatie (ABHG), die de Socratische vragenketen decomposeert in drie kernoperatoren: Elicitatie (E), Validiteit/Herformulering (V), en Noodzaakcontrole (N).

1. Socratische Elicitatie (E)

Deze module externaliseert de tacite intuïtie van de gebruiker in een gestructureerd onderzoeksprofiel via meertrapsdialogen.

• Proces: Het systeem voert semantische uitlijning uit op initiële inputs (die vaag of domeinonafhankelijk kunnen zijn) om domein- en conflictsignalen te extraheren. Het hanteert een dynamische triage- en verdiepingstrategie om te zoeken naar concrete "wrijvingspunten".
• Output: Een gestructureerd vijfdimensionaal profielvector $P_{profile} = (f, m, c, r, t)$, die vertegenwoordigt:
  • Wrijvingspunten ($f$): De kernbron van ontevredenheid.
  • Motivatie ($m$) & Smaak ($r$): Waarom het probleem er toe doet en de voorkeuren van de onderzoeker.
  • Beperkingen ($c$) & Verfijnd Onderwerp ($t$): Handelbare grenzen en de specifieke probleemstelling.
• Functie: Dit profiel dient als semantische prior, die het daaropvolgende redeneren verankert om domeindrift te voorkomen.

2. Validiteit en Probleemherformulering (V)

Deze operator daagt de premissen van de huidige onderzoeksrichting uit om nieuwe oplossingsruimtes te openen.

• Aanname-Mining: Het systeem extraheren een set verborgen aannames ($A_{hidden}$) die afhankelijk zijn van de geselecteerde onderzoeksrichting.
• Optimalisatie: Het evalueert elke aanname op basis van twee dimensies: Haalbaarheid ($\phi$) (of er een technische omweg bestaat) en Nieuwheid ($\nu$) (of het doorbreken ervan een onverkende ruimte opent). Het systeem selecteert de aanname $a^*$ die het product $\phi(a_i) \cdot \nu(a_i)$ maximaliseert.
• Herformulering: Het systeem genereert een logische onderbouwing voor het doorbreken van $a^*$ en reconstrueert de probleemformulering ($d^\dagger$) onder een nieuw coördinatenstelsel.
• Causale AfleidingsTrace: Om ervoor te zorgen dat de voorgestelde methode een noodzakelijke consequentie is van het inzicht, construeert het systeem een strikte zevenstaps causale keten:
  $\langle \text{Probleem} \to \text{Gebroken Aanneming} \to \text{Inzicht} \to \text{Claim} \to \text{Voorspellingen} \to \text{Beperkingen} \to \text{Methode} \rangle$.

3. Noodzaakcontrole (N)

Deze module fungeert als een strenge reviewer om zelfconsistentie en falsifieerbaarheid te waarborgen.

• Controles: Het voert drie specifieke verificaties uit:
  • Noodzaak: Is er een eenvoudiger alternatief? (Voorkomen van over-engineering).
  • Voldoende: Zijn alle componenten vereist om de kernclaim te ondersteunen? (Voorkomen van post-hoc rechtvaardigingen).
  • Tegenvoorbeeld: Kunnen extreme inputscenario's de kernaannames van de methode ongeldig maken?
• Implementatie: In de huidige lichtgewicht implementatie fungeert N primair als een post-hoc structurele verifier om de kerneffectiviteit van het EVN-raamwerk te valideren zonder continue menselijke tussenkomst.

Belangrijkste Bijdragen

1. Het InciteResearch-raamwerk

De primaire bijdrage is een multi-agent architectuur die LLM's niet behandelt als bronnen van ideeën ex nihilo, maar als instrumenten om impliciet begrip expliciet te maken. Door de Socratische keten te verdelen over een pijplijn, maakt het de overgang mogelijk van "tacite wrijving" naar "architecturale inzichten", en onderscheidt het tussen eenvoudige recombinatie en echte probleemherformulering.

2. TF-Bench (Tacit-naar-Expliciet Benchmark)

De auteurs introduceren TF-Bench, de eerste benchmark die specifiek is ontworpen voor tacit-naar-expliciet onderzoeksassistentie.

• Structuur: Het onderscheidt tussen domein-gerelateerde inputs (wetenschappelijke signalen maar ondergespecificeerd) en domein-onafhankelijke inputs (metaphorische of conceptuele aanwijzingen).
• Modi: Evaluatie omvat vier orthogonale wetenschappelijke modi: Voorspelling, Ontdekking, Toeschrijving, en Causaliteit.
• Doel: Het adresseert het gebrek aan datasets voor ideatie voor de vraagstelling, waarbij inputs geen handelbare onderzoeksvragen zijn maar onvolgroeide intuïtiefragmenten.

3. Evaluatie van Cognitieve Extensie

Het werk levert empirisch bewijs dat AI kan fungeren als een cognitieve extensie in plaats van slechts een automatiseringstool. Het raamwerk toont aan dat door aannemebreuk en noodzaakcontrole af te dwingen, AI gegenereerde voorstellen kan verschuiven van linguïstische compressie naar structurele herdefinitie.

Experimentele Resultaten

Prestaties op TF-Bench

InciteResearch werd geëvalueerd tegen een op prompts gebaseerde LLM-baseline over 5 runs.

• Algemene Winsten: InciteResearch behaalde een sprong voorwaartse verbetering in Nieuwheid (van 3,671 naar 4,250) en Impact (van 3,806 naar 4,397).
• Domein-Onafhankelijke Inputs: Het systeem toonde bijzondere sterkte bij domein-onafhankelijke inspiraties, waarbij de nieuwheid en impact van de baseline aanzienlijk daalden (naar respectievelijk 3,454 en 3,626), terwijl de scores van InciteResearch stegen (naar respectievelijk 4,328 en 4,416). Dit suggereert dat het raamwerk structurele inzichten kan extraheren uit cross-domein metaforen in plaats van gebonden te zijn aan specifieke inhoud.
• Haalbaarheid Trade-off: InciteResearch vertoonde iets lagere haalbaarheidsscores (3,092 versus 3,437) in vergelijking met de baseline. De auteurs interpreteren dit als een noodzakelijke trade-off: hogere nieuwheid en impact vereisen het doorbreken van bestaande aannames en het introduceren van ongeverifieerde mechanismen, wat inherent de technische haalbaarheid op korte termijn verlaagt.

Ablatiestudies

De studie bevestigde de functionele onmisbaarheid van elke operator:

• Verwijdering van V (Aannemebreuk): Veroorzaakte de ernstigste daling over alle metrieken (Nieuwheid daalde naar 3,500), wat bewijst dat aannemebreuk een structurele noodzaak is, niet slechts een nieuwheidsboost.
• Verwijdering van E (Elicitatie): Resulteerde in een significante daling in nieuwheid en impact, met een lichte stijging in haalbaarheid. Dit bevestigt dat het verankeren van generatie op echte wrijvingspunten cruciaal is voor hoogwaardige ideatie.
• Verwijdering van N (Noodzaakcontrole): Veroorzaakte de kleinste daling, consistent met zijn rol als post-hoc verifier in de huidige lichtgewicht implementatie.

Evaluatieconsistentie

Inter-rater overeenstemming tussen LLM-evaluatoren en menselijke experts leverde een gewogen Cohen's kappa op van 0,624 (matige overeenstemming), terwijl mens-mens overeenstemming 0,748 bedroeg (substantiële overeenstemming), wat de betrouwbaarheid van de geautomatiseerde evaluatiemetrieken valideert.

Betekenis en Claims

Het artikel claimt dat de vooruitgang van AI-capaciteit in onderzoek niet moet worden gezien als AI die menselijke intuïtie vervangt, maar als AI die intuïtie uitbreidt. Door impliciet begrip expliciet, inspecteerbaar en handelbaar te maken, demonstreert InciteResearch dat AI kan dienen als een extensie van het denken zelf.

Het werk stelt dat de legitimiteit van een onderzoeksprobleem niet voortkomt uit de correspondentie met bestaande literatuurgaten, maar uit de reflectie op en het doorbreken van de conceptuele kaders die het probleem vormen. De auteurs concluderen dat hun raamwerk een stap voorwaarts is naar een nieuw paradigma van mens-AI wetenschappelijke samenwerking, waarbij het model fungeert als een cognitieve versterker die kan deelnemen aan de cognitieve oorsprong van onderzoek, in plaats van louter downstream-uitvoering te automatiseren. De auteurs blijven bescheiden, en erkennen dat de huidige implementatie beperkt is tot lichtgewicht gestructureerde interactie en nog niet de rijkdom van langdurige menselijke intuïtieformatie volledig vastlegt.